Hero for 科学における再現性危機
· Risk & Decision Making · 5 分で読めます
日本語

科学における再現性危機

トイレで腕を腰に当てて立っていたのを覚えています superman pose, 鏡を見つめながら。 「変な感じがする」 脳の片隅がそう言った。 「でも…科学だ!」 もう一方が言った。こうして私は、面接が始まる数分前にトイレでポーズをとっていた。

4,000万回の視聴と途方もない成功を収めたTEDトークの後、 power posing 2014年に主流に登場しました。これは、ポーズを取ることが自信を高めるという考えであり、面接前の儀式を取る理由でした 1 そしてその後、すべてがめちゃくちゃになりました multiple critiques, その中には a co-author of the paper、その効果は存在しないと言った。そして今やパワーポージングは back again. 2

同様の話は複数の研究結果で繰り広げられています。 3 これが私たちの信じるものにどのような影響を与えるべきでしょうか?私は以前、その理由について書きました our beliefs could be problematic、エビデンスに基づくアプローチを採用する人々にとってもそうです。継続中 replication crisis 科学の分野が私がそう感じる理由の一つです。 This video 多くの科学研究論文が間違っている傾向について詳しく説明しています。さらに a website 撤回された論文を追跡している。アトランティックのエド・ヨンも、よく情報源を持っている article

これは科学においても一部予想されるべきことです。結局のところ、 the scientific method これは継続的なプロセスであり、古い情報は新しい結果で更新されるべきです。しかし、再現危機は予想以上に進んでいるように思えます。私もその理由を読むと問題を感じます “It can be proven that most claimed research findings are false”.上記の動画や論文で説明されているように、この危機にはpハッキングの蔓延、インセンティブの不整合、あるいは再現研究自体の不正確さなど、いくつかの原因が考えられます。

ここで言うpハッキングとは、データ収集、分析、報告の柔軟性のことです increase false positive rates 実験においてです。簡単な例として、実験に98人の学生がいて、現在の結果が統計的有意性の閾値より少し上にある場合です。なぜあと2人足して「四捨五入」しないのでしょうか?結局のところ、元々2人の学生が辞退しているので、問題にならないはずです。一見無害に思える小さな決定が結果を歪めてしまいます。

関連する問題として、多くの研究が小さな文化的サンプルサイズで行われていることです。大学で心理学の授業を受けたことがあるなら、ノルマを達成するために実験に参加しなければならなかったことを覚えているでしょう。 実験用ラッツ 被験者。大学のボランティアをサンプルとして使う研究が多いことを考えれば、結果がより一般的に再現されないのも理解できます。 4 More than 90 percent of research comes from studies on countries representing less than 15 percent of the populationこれは、特定の背景に限定されるのではなく、根本的な人間の発見であると言いたいなら明らかに問題です。 5

さらに悪いのは、論文出版に対するインセンティブが整っていないことです。 As I strongly believe in, インセンティブのずれは悪い結果をもたらします。科学者は論文を発表する動機があり、新しい観察結果を発表することは、古い研究を繰り返すよりも興味深いです。もし人々が量よりも量を重視すべきだと感じ、ジャーナルが古いものよりも新しいものを好むなら、興味深いが厳密さの低い結果の論文を推進する構造的なインセンティブがあります。

再現危機は科学に限らず、通常は金融的異常も見られます failing to replicate too. しかしここでは、異常が裁定取引で消し去られることもあり、おそらく問題は少ないかもしれません。 6 効率的市場仮説についてはまた別の機会に議論します。

これについてどうすればいいのでしょうか?よくわかりません。 7 もっと良い統計教育があれば助けになるでしょうが、人々の状況を考えれば struggle with p-values そして私は困難を抱えています a goat, 8 これがどれほど効果的かは私には分かりません。上記の論文の中には、より良いメンタリング、より良い実験設計、より良い教育など、解決策が提案されているものもあります。

私は科学と科学的方法には賛成ですが、再現性の危機は問題があります。どの解決策がより効果的かはわかりませんが、科学(何かを学ぶ)と科学者(何かを発表する)の間にもっとインセンティブの整合があることを期待しています。まずそれを解決することで、誤検知を減らす大きな効果があると思います。

Footnotes

  1. ちなみに、全くうまくいきませんでした。その年の面接はすべてひどいものでした。私は自分のせいではなく、パワーポーズのせいだとはっきりと考えていました。 ↩

  2. ただし、ポーズ後のパワー感とホルモンの変化の違いに注意点があります ↩

  3. もう一つの有名な例は hot hand fallacy, which might not be a fallacy anymore ↩

  4. 実際の割合はわかりませんが、ほとんどの論文は徴兵された大学の学部生が関わっていると推測します ↩

  5. 社会科学は、一部の人が主張するような全人類に適用可能な理論ではなく、より区分的で文化的な結論へと進むべきかもしれません。私はここで意見を形成するには十分な知識がありません。科学は普遍的であるべきですが、社会科学はそうでないのかもしれません。 ↩

  6. 別件で、クリフ・アスネスは投資における特定の異常の強靭性について論じています here ↩

  7. もう十分に明らかでなければ、私は科学者ではありません。小学校の理科センターのバッジが該当しない限りは。そう思いたいですが、残念ながら違う情報を得ています ↩

  8. 誰かがメールする前に言っておきますが、はい、モンティホールの問題は理解しています。ただ、直感的ではないということを伝えたいだけです ↩

ディスカッション

What did I miss?

建設的な反論、追加の証拠、異なる見方を歓迎します。

ディスカッションを読み込んでいます…

非公開での連絡をご希望ですか？ Leonにメール.

関連記事