과학에서의 재현성 위기

화장실에서 팔을 허리에 얹고 서 있던 기억이 납니다. superman pose, 거울을 응시하며. “이거 이상해” 내 뇌 한쪽이 그렇게 말했다. “하지만… 과학이라니!” 다른 쪽이 말했다. 그래서 나는 면접 시작 몇 분 전, 화장실에서 포즈를 취하며 서 있었다.

4천만 조회수와 엄청난 성공을 거둔 TED 강연 후, power posing 2014년에 주류에 들어왔다. 이것은 포즈를 취하는 것이 자신감을 높일 수 있다는 생각이었고, 그래서 면접 전 의식을 갖게 되었다 ¹ 그리고 그 후 모든 게 엉망이 되었다 multiple critiques, 그중 하나는 a co-author of the paper, 그 효과가 존재하지 않는다고 말했다. 그리고 이제 파워 포즈가 back again. ²

유사한 이야기들이 여러 연구 결과에서 전개되었습니다. ³ 이것이 우리가 믿는 것에 어떤 영향을 미쳐야 할까요? 저는 이전에 그 방법에 대해 글을 쓴 적이 있습니다 our beliefs could be problematic, 심지어 근거 기반 접근법을 채택하는 사람들에게도 해당됩니다. 진행 중인 replication crisis 과학 분야가 제가 그렇게 느끼는 이유 중 하나입니다. This video 많은 과학 연구 논문들이 종종 틀리는 경향이 있다는 세부사항을 설명합니다. 심지어 a website 철회된 논문들을 추적하는 것입니다. Atlantic의 Ed Yong도 잘 출처가 있습니다 article

이런 부분은 과학에서 예상되는 일입니다. 결국, the scientific method 이는 지속적인 과정이며, 우리는 오래된 정보를 최신 결과로 업데이트해야 합니다. 하지만 복제 위기는 예상보다 더 심각한 것 같습니다. 저는 그 내용을 읽을 때 문제가 있다고 느낍니다 “It can be proven that most claimed research findings are false”. 위에 링크된 영상이나 논문에서 설명했듯이, 이 위기에는 만연한 p-해킹, 인센티브 불일치, 또는 복제 연구 자체의 부정확성 등 몇 가지 원인이 있는 것으로 보입니다.

여기서 p-해킹이란 데이터 수집, 분석, 보고의 유연성을 의미합니다 increase false positive rates 실험 중입니다. 간단한 예로, 98명의 학생이 실험에 참여했는데, 현재 결과가 통계적 유의성 기준 바로 위에 있다면, 그렇다면 2명을 더 추가해서 ‘내림’을 내지 않는 게 어떨까요? 결국 원래 2명의 학생이 중도 탈락했으니 문제가 되지 않을 거라고 추론하죠. 겉보기에는 무해해 보이는 작은 결정들이 결과를 왜곡시킵니다.

관련된 문제는 대부분의 연구가 작은 문화적 표본으로 이루어진다는 점입니다. 대학에서 심리학 수업을 들어본 적이 있다면, 할당량을 채우기 위해 실험에 참여해야 했던 기억이 있을 것입니다. 실험용 쥐들 실험 대상입니다. 대학 자원봉사자를 표본으로 사용하는 연구가 많다는 점을 고려하면, 결과가 더 널리 반복되지 않는 것은 이해할 만합니다. ⁴ More than 90 percent of research comes from studies on countries representing less than 15 percent of the population이 점은 특정 배경에 국한되지 않고 근본적인 인간의 발견이라고 말하고 싶다면 분명히 문제가 됩니다. ⁵

더 심각한 점은 논문 출판에 대한 인센티브가 맞지 않는다는 점입니다. As I strongly believe in, 인센티브 불일치는 나쁜 결과를 초래합니다. 과학자들은 논문을 출판하도록 유인되며, 새로운 관찰을 발표하는 것이 이전 연구를 반복하는 것보다 더 흥미롭습니다. 사람들이 양보다 양을 목표로 하고, 저널이 오래된 것보다 새로운 것을 선호한다면, 흥미롭지만 덜 엄밀한 결과를 내는 논문을 추진하는 구조적 유인이 생깁니다.

재현 위기는 과학에만 국한되지 않으며, 보통 재정적 이상 현상도 발생합니다 failing to replicate too. 하지만 여기서는 이상이 차익거래로 사라진 것일 수 있으니, 아마도 이 부분은 덜 문제가 될 수 있습니다. ⁶ 효율적 시장 가설은 다음 기회에 논의하겠습니다.

이 문제에 대해 무엇을 할 수 있을까요? 잘 모르겠습니다. ⁷ 더 나은 통계 교육이 도움이 될 것입니다. 물론 사람들이 여전히 어떻게 지내는지 생각하면 말이죠 struggle with p-values 그리고 나는 어렵다 a goat, ⁸ 이 방법이 얼마나 효과적일지는 잘 모르겠습니다. 위에 링크된 몇몇 논문들도 더 나은 멘토링, 더 나은 실험 설계, 더 나은 교육 등 해결책을 제안했습니다.

저는 과학과 과학적 방법을 지지하지만, 재현성 위기는 심각한 문제입니다. 어떤 해결책이 더 효과적일지는 모르겠지만, 과학(무언가를 배우는 것)과 과학자들(출판하는 것 사이에서 더 많은 동기 부여가 이루어지길 바랍니다). 먼저 그 문제를 해결하는 것이 오탐을 줄이는 데 큰 도움이 될 것이라고 생각합니다.

관련 글

스탠포드 교도소 실험 수업인가요, 아니면 스탠포드 교도소 연기 수업인가요?

SPE가 거의 50년 동안 존속한 이유는 연구자가 아카이브를 조사하지 않았기 때문입니다

Culture · Aug 25, 2019 · 5 min read

서평: 살아야 할 알고리즘

현실에서 의사결정을 개선하기 위해 알고리즘을 어떻게 적용할 수 있을까요?

Risk & Decision Making · Apr 10, 2021 · 10 min read

효과적인 사전 검거 방법

그룹에 무슨 일이 잘못될 수 있는지 묻지 마세요

Risk & Decision Making · Nov 23, 2019 · 4 min read