Crise de la réplicabilité en science
De nombreuses études populaires s’avèrent fausses
I’ve previously written about the replicability crisis in science. J’ai récemment découvert les critiques des infâmes Stanford Prison Experiment que je n’avais pas vu lors de ma première lecture. Les critiques invalident pour moi les conclusions de l’expérience, et je vais mettre en avant des extraits this paper by Thibault Le Texier ci-dessous :
Sur la base du premier récit détaillé publié de l’expérience (Zimbardo, 1972a), Erich Fromm a souligné (1) la nature non éthique des conditions dures imposées aux prisonniers, (2) le fait que les prétests de personnalité administrés aux volontaires n’auraient peut-être pas détecté de prédisposition chez certains sujets à un comportement sadique ou masochiste, et (3) la situation confuse pour les participants créée par le mélange d’éléments de prison réalistes avec d’éléments irréalistes de prison.
Je ne cherche pas à minimiser l’importance de l’éthique, mais cette partie m’intéresse moins, car elle n’aborde pas ce que je pense être la question centrale que l’expérience voulait montrer, c’est-à-dire à quoi conduit le pouvoir perçu dans le comportement humain ? Le biais de sélection et l’absence d’un environnement carcéral fixe semblent plus intéressants en tant que critique.
Banuazizi et Movahedi ont utilisé un ensemble de questions ouvertes pour déterminer l’avis des élèves quant à l’hypothèse de l’expérimentateur et à leurs attentes concernant le résultat de l’expérience. 81 % des étudiants testés ont correctement compris l’hypothèse de l’expérimentateur (que les gardiens seraient agressifs et que les prisonniers se révolteraient ou obéiraient), et 90 % ont prédit que les gardiens seraient « oppressifs, hostiles, agressifs, humiliants » (p.158), soutenant ainsi l’argument selon lequel des caractéristiques de demande étaient probablement à l’œuvre dans l’EPS et que les participants à l’EPS auraient probablement deviné comment Zimbardo et ses co-expérimentateurs voulaient qu’ils se comportent
C’est plus intéressant ! Quand vous concevez une expérience, vous ne voulez généralement pas que vos sujets sachent ce que vous testez, car ils risquent de manipuler le système. Par exemple, si je vous dis que je teste si vous êtes plus ou moins susceptible d’être impoli après une offense perçue, vous contrôlerez ou changerez consciemment votre comportement. Peut-être que les élèves étaient simplement doués pour deviner ? Mais nous voyons ensuite ce qui suit
Les gardes savaient quels résultats l’expérience devait produire. Zimbardo et ses assistants annonçèrent les objectifs de l’expérience aux gardes lors de leur journée d’orientation, le samedi 14 août 1971. Zimbardo confia aux futurs gardes qu’il avait « une subvention pour étudier les conditions qui conduisent au comportement de foule, à la violence, à la perte d’identité, au sentiment d’anonymat. \[…\]
C’est convaincant. Si Zimbardo a dit aux gardes ce qu’il voulait étudier et cherchait, il n’est pas étonnant que les résultats aient dégénéré autant. Et combiné au biais de sélection, c’est peut-être pour cela que les gardes étaient si enclins à jouer leurs rôles.
Loin de réagir spontanément à cet environnement social pathogène, les gardes reçurent des instructions claires sur la manière de le créer
Je dirais que c’est similaire au point ci-dessus, à savoir que Zimbardo créait essentiellement le scénario qu’il voulait observer. L’article soulève deux autres raisons après celui-ci que je dirais toutes relèvent de la catégorie « suivre les instructions de Zimbardo », donc je vais passer à autre chose
Pour obtenir leur pleine participation, Zimbardo voulait faire croire aux gardes qu’ils étaient ses assistants de recherche.
Cela explique aussi pourquoi les gardes étaient si disposés à suivre. Si les gardes pensaient qu’ils étaient des assistants aidant à mener l’expérience, pas étonnant qu’ils aient ressenti l’envie d’obtenir les résultats que Zimbardo recherchait. Cela les conduit à jouer leur rôle comme de bons acteurs :
Lors du débriefing qui a eu lieu le dernier jour de l’expérience, Eshleman a avoué, par exemple, à Jaffe : « Je pensais qu’il serait préférable pour l’étude de présenter ce que je pensais être une relation réaliste entre le gardien et le prisonnier. \[…\] \[T\]pendant toute l’expérience, j’étais acteur, et j’en faisais un peu de jeu. \[…\] Je faisais du jeu de rôle. » (Eshleman, 1971a, p.2) Terry Barnett, le deuxième garde le plus zélé, expliqua son implication en ces termes.
Il semble que la conclusion à tirer de cela n’est pas que le pouvoir corrompre, mais plutôt que les gens agiront selon ce qu’ils estiment incités à le faire. As I’ve always written, incentives matter! Dans ce cas, les gardiens de prison agissant de manière abusive pour obtenir les résultats qu’ils pensaient nécessaires, les prisonniers restant et jouant leur rôle pour être payés, et les chercheurs rendant l’expérience plus dramatique qu’elle ne l’était réellement.
La réplicabilité a toujours été un problème en science, et je pense que nous verrons davantage de cas de telles études anciennes « célèbres » qui ont été mal menées, et dont les résultats devraient être remis en question. C’est dommage qu’on accorde moins d’importance à la confirmation des anciennes études qu’à la publication de ses propres nouvelles, encore une fois à cause du décalage des incitations dans le domaine scientifique. Comme le note l’auteur de l’article, Thibault :
Le SPE a survécu près de 50 ans car aucun chercheur n’a parcouru ses archives. C’est, je dois dire, l’un des faits les plus déroutants que j’ai découverts au cours de mon enquête. L’expérience avait été critiquée par des figures majeures telles que Fromm (1973) et Festinger (1980), et les récits de l’expérience étaient loin de révéler tous les détails de l’étude ; pourtant, aucun psychologue ne semble avoir voulu savoir, si les archives contenaient exactement, ce qu’elles contenaient.
puis il spécule sur quelques raisons :
Est-ce un manque de curiosité ? Est-ce un respect excessif pour le professeur titulaire d’une université prestigieuse ? Est-ce dû à d’éventuelles restrictions d’accès imposées par Zimbardo ? Est-ce parce que les analyses d’archives sont une activité longue et laborieuse ? Est-ce dû à la conviction qu’aucune archive n’avait été conservée ? La réponse reste inconnue
Personnellement, je pense que c’est une combinaison d’analyses archivistiques qui prennent du temps et sont des travaux « ennuyeux » et qu’il y a peu d’incitation pour les chercheurs à le faire.
What did I miss?
Les désaccords réfléchis, les preuves supplémentaires et les autres façons de voir le problème sont les bienvenus.
Chargement de la discussion…
Vous préférez une conversation privée ? Écrire à Leon.