科学における再現性危機
多くの人気研究は事実ではないことが判明します
I’ve previously written about the replicability crisis in science.最近、悪名高い作品に対する批判について知りました Stanford Prison Experiment 最初に読んだときには気づかなかったものでした。これらの批判は私にとって実験の結論を無効にし、以下から抜粋を挙げます this paper by Thibault Le Texier 以下:
実験の最初の詳細な発表記録(Zimbardo, 1972a)に基づき、エーリッヒ・フロムは(1) 囚人に課された過酷な環境の非倫理的性質、(2) ボランティアに対して行われた性格検査が一部の被験者にサディスティックまたはマゾヒスティックな素因を検出できなかった可能性、(3) 現実的な刑務所要素と非現実的な要素を混ぜ合わせることで参加者に混乱をもたらす状況を指摘した。
倫理の重要性を軽視するつもりはありませんが、その部分は私にとってあまり興味がありません。なぜなら、実験が示したかった核心的な問題、つまり人間の行動に力が何をもたらすのかに触れていないからです。選択バイアスや固定された刑務所環境の欠如は、批判としてより興味深いように思えます。
バヌアジジとモヴァヘディは、実験者の仮説や実験結果に対する学生の考えを推測するために、オープンエンドの質問セットを用いました。81%の学生が実験者の仮説(看守が攻撃的で囚人が反乱または従うだろう)を正確に理解し、90%が看守が「抑圧的、敵対的、攻撃的、屈辱的」と予測しました(p.158)。これにより、需要特性がSPEで働いている可能性が高く、参加者はジンバルドや共演者が望む行動を推測していた可能性が高いという主張を支持しています
こちらの方が面白いですね!実験を設計するとき、通常は被験者に何をテストしているか知られたくないでしょう。なぜなら、彼らはシステムを悪用する可能性が高いからです。例えば、私が「あなたが無礼になれるかどうかをテストしている」と伝えると、あなたは意識的に行動をコントロールしたり変えたりします。もしかすると、学生たちは単に推測が得意だったのかもしれません。しかし、以下にこういうことが見えます
看守たちは実験がどんな結果をもたらすかを知っていました。ジンバルドと彼の助手たちは、1971年8月14日土曜日のオリエンテーションの日に、実験の目的を警備員に告知しました。ジンバルドは将来の看守たちに「暴徒の行動、暴力、アイデンティティの喪失、匿名性の喪失を引き起こす条件を研究するための助成金を持っている」と打ち明けました。\[…\]
これは説得力があります。ジンバルドが警備員に自分が何を学びたいか、何を求めているかを伝えたのなら、結果が手に負えなくなったのも無理はありません。そして選択バイアスと相まって、おそらくそれが警備員たちが自分の役割を演じることにこれほど積極的だった理由でしょう。
この病原性の社会環境に自発的に反応するのではなく、警備員たちはそれを作り出すための明確な指示を受けていた
これは上記の点と似ていると思います。つまり、ジンバルドは本質的に自分が観察したいシナリオを作り出していたということです。論文はこの後に2つの理由を挙げており、いずれも「ジンバルドの指示に従う」カテゴリーに入ると言えるので、そこは飛ばして次のポイントに進みます
ジンバルドは警備員たちに自分の研究助手だと信じ込ませるために、彼らを完全に参加させるつもりだった。
これが警備員たちがこれほどまでに協力的だった理由も説明できます。もし警備員たちが自分たちが実験の手伝いをしている助手だと信じていたなら、ジンバルドが求めていた結果を得ようと強く思ったのも無理はありません。これが彼らが良い俳優のように役を演じることにつながります:
実験最終日に行われた報告会で、エシュルマンは例えばジャッフェにこう告白しました。「看守と囚人の現実的な関係を提示したほうが研究にとって良いと思った。実験の間ずっと私は俳優で、演じていた。ロールプレイをしていただけだ。」(エシュルマン、1971a年、p.2)2番目に熱心な看守テリー・バーネットも同じ言葉で自身の関与を説明した。
ここから導き出すべき結論は、権力が腐敗をもたらすということではなく、人々がそうした動機を感じる行動を取るということのように思えます。 As I’ve always written, incentives matter! この場合、刑務官たちは必要だと思って結果を得るために虐待的な行動をとり、囚人は報酬を得るために残って役割を果たし、研究者たちは実験を実際よりも劇的に見せている。
再現性は科学界では常に問題であり、今後も「有名な」古い研究が単に失敗して行われ、その結果に疑問視されるべき事例が増えると思います。科学分野のインセンティブの不一致が原因で、古い研究の確認よりも新しい研究を発表することに注力が少ないのは残念です。論文の著者ティボー氏が指摘するように:
SPEがほぼ50年間存続できたのは、研究者がそのアーカイブを調べていないからです。これは、私が調査中に発見した中で最も不可解な事実の一つでした。この実験はフロム(1973年)やフェスティンガー(1980年)といった主要な人物から批判され、実験の記述は研究のすべての詳細を明らかにしているわけではありません。しかし、心理学者の中で、アーカイブに何が含まれているのかを知りたがったことはなかったようです。
そして、その理由についていくつか推測を述べています。
それは好奇心の欠如でしょうか?名門大学の終身在職権を持つ教授に対する過度な敬意でしょうか?ジンバルドが課した可能性のあるアクセス制限が原因でしょうか?アーカイブ分析が時間と労力を要する作業だからでしょうか?アーカイブが一切保存されていないという信念からでしょうか?その答えは依然として不明です
個人的には、アーカイブ分析が時間のかかる「退屈な」作業であり、研究者にとってはあまり動機がないことが重なっていると思います。
関連記事
書評:非暴力コミュニケーション
関係を改善し、みんなが望むものを手に入れる方法
門番をゲートキープするのは誰か
ゲートキーパーの門番は自分自身をゲートキープしているのでしょうか?