科学中的可重复性危机

我记得站在浴室里，双手叉腰，像是 superman pose, 盯着镜子。 “感觉怪怪的” 我脑海的一侧说。 “但是…科学！” 另一位说。于是我站在浴室里摆姿势，距离面试开始还有几分钟。

在4000万观看和一场极其成功的TED演讲之后， power posing 2014年进入主流。这个想法是摆姿势能提升自信感，因此我在面试前有这个仪式 ¹ 然后一切都乱套了 multiple critiques, 其中包括一个来自 a co-author of the paper说这种效果不存在。现在显然，力量姿势是 back again. ²

类似的故事在多项研究中都有体现。 ³ 这应该如何影响我们的信仰？我之前写过关于 our beliefs could be problematic即使是采用循证方法的学生也是如此。持续进行 replication crisis 科学领域是我有这种感觉的一个原因。 This video 详细说明了许多科学研究论文往往存在错误。甚至还有 a website 追踪已被撤回的论文。《大西洋月刊》的Ed Yong也有一份资料来源丰富 article

这在科学中是可以预料到的。毕竟， the scientific method 这是一个持续的过程，我们应该用更新的结果更新过时的信息。不过，复制危机似乎超出了预期。当我读到它时，我觉得很有问题 “It can be proven that most claimed research findings are false”.正如上面视频或论文所述，这场危机的原因似乎有几个，包括普遍存在的p-hacking、激励错位，或者复制研究本身不准确。

我说的p-hacking，是指数据收集、分析和报告的灵活性 increase false positive rates 在实验中。一个简单的例子是，如果你有98名学生参与实验，而你目前的结果刚好高于统计显著性阈值。为什么不再加2个学生来“四舍五入”呢？毕竟，你推理说，最初有2名学生退出了，所以这不应该是问题。看似无害的小决定最终会扭曲结果。

一个相关的问题是，大多数研究都是在小文化样本量上进行的。如果你参加过大学心理学课程，你可能还记得为了完成配额而不得不参与实验。 实验鼠 测试对象。鉴于大量研究以大学志愿者为样本，研究结果可能无法在更广泛中复现是可以理解的。 ⁴ More than 90 percent of research comes from studies on countries representing less than 15 percent of the population如果你想说你的结果是人类的根本发现，而非局限于特定背景，这显然是个问题。 ⁵

更糟糕的是，论文发表的激励措施并不一致。 As I strongly believe in, 激励错位会导致不良结果。科学家有动力发表论文，发表新观察比重复旧研究更有趣。如果人们觉得应该追求数量而非数量，且期刊更喜欢新而非旧的，那么就有结构性动力推动有趣但不那么严谨的论文。

复制危机不仅限于科学领域，通常还涉及财务异常 failing to replicate too. 不过在这里，部分原因可能是异常被套利消除了，所以这个问题可能没那么严重。 ⁶ 我们把有效市场假说留待以后再讨论。

该怎么办？我不确定。 ⁷ 更好的统计教育会有帮助，尽管考虑到人们仍然如此 struggle with p-values 而我对此有困难 a goat, ⁸ 我不确定这有多有效。上面提到的一些论文也提出了解决方案，包括更好的指导、更好的实验设计和更好的教学。

我支持科学和科学方法，但可重复性危机确实存在问题。我不知道哪种解决方案更有效，但我希望科学（学到东西）和科学家（发表成果）之间能有更多激励。我认为先解决这个问题可能会大大减少误报。

相关文章

斯坦福监狱实验还是斯坦福监狱表演课？

SPE之所以能存续近50年，是因为没有研究人员深入查阅其档案

Culture · Aug 25, 2019 · 5 min read

书评：生活准则

我们如何应用算法来改善现实生活中的决策？

Risk & Decision Making · Apr 10, 2021 · 10 min read

如何进行有效的尸检

不要问团队会出什么问题

Risk & Decision Making · Nov 23, 2019 · 4 min read