Avantages
Les avantages de cette méthode sont qu’on évite tout biais cognitif. Réfléchir à un seuil honnête à l’avance, bien s’assurer que le « don » marche avant de commencer, faire l’expérience en double aveugle et comparer les résultats obtenus. Ne pas surinterpréter, ne pas changer les règles en cours d’expérience, ne pas interagir avec la voyante pendant l’expérience. En procédant comme ceci, on évite les biais cognitifs et les raisonnements fallacieux. C’est la méthode la plus sûre qu’on ait pour comprendre les phénomènes.
La fondation James Randi offre 1 million de dollars à qui prouvera scientifiquement avoir des dons surnaturels. Le prix n’a toujours pas été récolté…
Inconvénient « faux positif »
Il est possible que la voyante n’ait aucun don, mais qu’elle arrive à un résultat significatif par hasard. Exemple : Si on prend un seuil de 5% (ce qui est le cas pour énormément d’études) cela signifie qu’on considérera le résultat comme significatif si la voyante arrive à un taux de réussite au-delà de ce qu’on peut attendre dans 95% des cas si on décide si le verre est vide ou plein au hasard. En gros, cela signifie qu’on a une chance sur 20 de faire un score au moins aussi bon par hasard. Dans ce cas, on dit qu’on a un faux positif. C’est-à-dire qu’on considère qu’elle a un don alors qu’elle n’en a pas. Statistiquement, si on interroge 20 voyantes, on devrait arriver à une voyante sur les 20 avec un résultat significatif avec un seuil à 5% même si aucune n’a de don !
Attention, si on regarde une seule étude, cela ne prouve pas grand-chose, même si le seuil a été bien choisi. Il faut toujours remettre une étude dans son contexte et la comparer à d’autres, en gardant en tête que, même si le phénomène étudié n’existe pas, c’est normal qu’un faible pourcentage soit significatif.
Il arrive donc que certaines personnes croient avoir des pouvoirs, parce qu’ils ont été prouvés scientifiquement, alors qu’ils font juste partie des chanceux. Il ne faut pas confondre « les chances de gagner » avec « les chances d’avoir un gagnant ». Exemple, par hasard, c’est rare d’avoir un résultat au-delà d’un seuil à 1%. Donc, si on vous teste et que vous obtenez de tels résultats, vous n’aviez que 1% de chances de les obtenir par hasard. Mais si on a testé 10 000 personnes, statistiquement, on peut s’attendre à ce que 100 aient des résultats significatifs avec un seuil de 1% (car 1% de 10 000 = 100). Donc, peu importe les personnes qui obtiendront ces résultats, ils se sentiront chanceux, ou doués… Autre exemple avec le loto. Image 8f. Les chances de gagner sont très faibles, mais les chances d’avoir un gagnant sont très élevées. Peu importe le gagnant, il se considèrera très chanceux. Donc, l’évènement « avoir un gagnant au loto qui se considère très chanceux » a énormément de chances de se produire.
Pour diminuer le nombre de faux positifs, on peut exiger un seuil à 0,1% ou 0,000001%. D’ailleurs, plus les expériences sont faites dans des sciences dures, plus le seuil est élevé (en physique par exemple, le seuil est très souvent sous 0,1%). Plus on fixe le seuil élevé, moins on tombe sur des faux positifs. Mais plus on rencontre un autre problème.
Inconvénient « faux négatif »
Il est également possible que la voyante ait un don (ou en tout cas que le phénomène étudié existe réellement) et qu’on tombe sous le seuil et qu’on considère donc les résultats comme non significatifs.
+ géogébra deux courbes
Exemple : Si, en fait, la voyante a 65% de chances de trouver s’il y a de l’eau dans un verre, c’est un vrai don ! Mais, on peut imaginer que, lors de l’expérience, sur 100 verres, elle n’ait que 55 bonnes réponses. Pas de chance. Ça arrive. Dans ce cas-là, on va conclure à des résultats non significatifs alors qu’ils auraient dû l’être.
Il faut donc bien réfléchir au seuil à l’avance et surtout faire assez de tests lors de l’expérience pour éviter au maximum ces deux erreurs. Plus on fait de tests, plus on évite ces erreurs, mais plus l’expérience prend du temps et demande de l’argent… Et, même avec un nombre immense de tests, on aurait toujours un faible pourcentage de faire ces erreurs.
+ géogébra en faisant varier n, puis p
Autre exemple de ces inconvénients
Si on se trompe quand on essaie de savoir si quelqu’un a un don ou non, ce n’est pas très grave, mais on peut aussi se tromper lors d’un dépistage par exemple. Quelle erreur est la moins grave ? Dire à un patient sain qu’il est malade, ou dire à un patient malade qu’il ne l’est pas ?
Imaginez : Vous faites faire un dépistage pour une malade mortelle qui touche une personne sur 10 000. Le test que vous passez se trompe dans seulement 1% des cas. Après le test, on vous annonce que vous êtes malade. Quelle est la probabilité que vous le soyez vraiment ? Si on fait passer 10 000 personnes, une seule en moyenne sera vraiment malade. Pourtant, comme 1% de 10 000 = 100, le test dira à 100 personnes qu’elles sont malades. Donc vous faites partie des 100 personnes dites malades mais en réalité, une seule l’est. Donc, même avec un test très fiable qui vous dit que vous êtes malade, vous avez 99% de chances de ne pas l’être. Ça vient du fait que la maladie est très rare (un cas sur 10 000).