과학에서의 재현성 위기
많은 대중 연구들이 사실이 아닌 것으로 드러난다
I’ve previously written about the replicability crisis in science. 최근에 악명 높은 작품에 대한 비판에 대해 알게 되었습니다 Stanford Prison Experiment 처음 읽을 때는 몰랐던 부분입니다. 비판들은 저에게 실험의 결론을 무효화하며, 여기서 발췌한 부분을 강조하겠습니다 this paper by Thibault Le Texier 아래:
실험에 대한 최초의 상세한 발표 기록(짐바르도, 1972a)에 근거해 에리히 프롬은 (1) 수감자들에게 가해진 가혹한 환경의 비윤리성, (2) 자원봉사자에게 실시된 성격 사전 검사가 일부 피험자들 사이에서 가학적이거나 마조히스틱한 성향을 감지하지 못했을 수 있다는 점, (3) 현실적인 교도소 요소와 비현실적인 요소가 혼합되어 참가자들에게 혼란스러운 상황이 생겼음을 지적했다.
윤리의 중요성을 폄하하려는 것은 아니지만, 그 부분은 저에게는 덜 흥미롭습니다. 왜냐하면 실험이 보여주고자 했던 핵심 문제, 즉 인지된 권력이 인간 행동에 어떤 영향을 미치는지에 도달하지 못하기 때문입니다. 선택 편향과 고정된 감옥 환경의 부재는 비판으로서 더 흥미롭게 느껴집니다.
바누아지지와 모바헤디는 열린 질문을 사용해 실험자의 가설과 결과에 대한 학생들의 생각을 파악했다. 검사된 학생의 81%가 실험자의 가설(교도관이 공격적이고 죄수가 반항하거나 순응할 것임)을 정확히 추측했고, 90%는 교도관이 “억압적이고, 적대적이며, 공격적이며, 굴욕적일 것”이라고 예측했다(p.158). 이는 수요 특성이 SPE에서 작용했을 가능성이 높으며, SPE 참가자들이 짐바르도와 동료 실험자들이 원하는 행동을 추측했을 것이라는 주장을 뒷받침했다
이게 더 흥미롭네요! 실험을 설계할 때는 보통 피험자들이 무엇을 검사하는지 알게 하고 싶지 않은데, 그들이 시스템을 악용할 가능성이 높기 때문입니다. 예를 들어, 제가 무례하다고 느껴진 후에 무례하게 굴 가능성이 더 높은지 덜 검사한다고 말하면, 당신은 의식적으로 행동을 통제하거나 바꿀 것입니다. 아마도 학생들은 단지 추측을 잘했을 뿐일까요? 하지만 아래를 보면
경비원들은 실험이 어떤 결과를 내야 하는지 알고 있었다. 짐바르도와 그의 조수들은 1971년 8월 14일 토요일 오리엔테이션 날 경비원들에게 실험의 목표를 발표했다. 짐바르도는 미래 경비원들에게 “군중 행동, 폭력, 정체성 상실, 익명성에 대한 감정을 연구할 수 있는 연구비가 있다”고 털어놓았다. \[…\]
이건 설득력이 있다. 짐바르도가 경비원들에게 자신이 무엇을 공부하고 찾고 있는지 말했다면, 결과가 통제 불능이 된 것도 당연하다. 그리고 선발 편향과 맞물려, 아마도 그래서 경비원들이 자신의 역할을 기꺼이 연기할 수 있었던 것일지도 모른다.
경비원들은 이 병원성 사회 환경에 즉흥적으로 반응하기보다는 이를 만드는 방법에 대한 명확한 지시를 받았다
이 점은 위에서 언급한 점과 비슷하다고 생각합니다. 짐바르도는 본질적으로 자신이 관찰하고자 했던 시나리오를 만들어냈다는 것입니다. 논문은 이 논문 이후 두 가지 이유를 제시하는데, 모두 ‘짐바르도의 지시를 따르기’ 범주에 속한다고 생각하니, 그 부분은 건너뛰고 다음 요점으로 넘어가겠습니다
진바르도는 경비원들이 자신의 연구 조수라고 믿게 만들기 위해 완전한 참여를 얻으려 했다.
이것이 경비원들이 기꺼이 동의한 이유이기도 하다. 경비원들이 자신들이 실험을 돕는 조수라고 믿었다면, 짐바르도가 원하는 결과를 얻으려는 동기가 생긴 것도 당연하다. 이것이 그들이 좋은 배우처럼 역할을 연기하게 만드는 이유다:
실험 마지막 날 진행된 브리핑에서 에슐먼은 예를 들어 자페에게 이렇게 고백했다: “나는 연구를 위해 경비원과 죄수 사이의 현실적인 관계를 제시하는 것이 더 좋을 것 같았다. \[…\] \[T\]실험 내내 나는 배우였고, 연기를 연기하고 있었다. \[…\] 나는 역할극을 하고 있었다.” (에슐먼, 1971a, p.2) 두 번째로 열정적인 경비원 테리 바넷도 같은 방식으로 자신의 참여를 설명했다.
여기서 결론을 내릴 수 있는 것은 권력이 부패를 만든다는 것이 아니라, 사람들이 자신이 그렇게 하도록 동기부여된 방식으로 행동한다는 것입니다. As I’ve always written, incentives matter! 이 경우에는 교도관들이 필요하다고 생각한 결과를 얻기 위해 학대적으로 행동하고, 죄수들은 머물며 대가를 받기 위해 역할을 하며, 연구자들은 실험을 실제보다 더 극적으로 보이게 만들었다.
재현성은 과학에서 항상 문제였으며, 앞으로도 ‘유명한’ 오래된 연구들이 잘못 수행되어 결과가 의심받아야 할 사례가 더 많이 나올 것이라고 생각합니다. 과학 분야 내 인센티브 불일치 때문에 오래된 연구를 검증하는 데 덜 집중하는 것은 안타깝습니다. 논문의 저자 티보가 지적하듯이:
SPE가 거의 50년 동안 살아남은 이유는 연구자가 그 기록을 뒤지지 않았기 때문이다. 이것은 내가 조사하는 동안 발견한 가장 당혹스러운 사실 중 하나였다. 이 실험은 프롬(1973)과 페스팅거(1980) 같은 주요 인물들로부터 비판을 받았으며, 실험 기록은 연구의 모든 세부 사항을 공개하지는 못했다; 그럼에도 심리학자는 기록 보관소에 정확히 무엇이 담겨 있는지 알고 싶어 하지 않는 듯하다.
그리고 그 이유에 대해 몇 가지 추측을 한다:
호기심 부족 때문일까? 명문 대학의 종신 교수에 대한 지나친 존경 때문인가? 짐바르도가 부과한 접근 제한 때문인가? 기록 보관 분석이 시간과 노동 집약적인 작업이기 때문인가? 기록 보관소가 전혀 보관되지 않았다는 믿음 때문인가? 답은 아직 알려지지 않았다.
개인적으로는 기록 보관 분석이 시간이 많이 걸리고 ‘지루한’ 작업이며, 연구자들이 분석할 동기가 거의 없다는 점이 복합적으로 작용한다고 생각합니다.
관련 글
서평: 비폭력 커뮤니케이션
관계를 개선하고 모두가 원하는 것을 얻는 방법
누가 문지기를 막는지
문지기의 문지기가 스스로 문을 지키는 걸까요?