인체력: 무슨 뜻일까요?
앙상블 평균과 시간 평균의 차이가 투자와 위험에 중요한 이유
우리 대부분은 통계학 수업에서 p 값에 대해 공부한 적이 있습니다. 대부분은 그때 충분히 이해했다고 생각합니다; 결국 수업을 통과한 셈이니까요. 하지만 대부분은 매우 틀렸습니다.
광범위한 p 값 오용 때문에, some scientists are speaking out against the application of p values in research:
우리는 P 값을 금지하라고 요구하는 것이 아닙니다. 또한 제조 공정이 품질 관리 기준을 충족하는지 판단하는 등 특정 특수 응용 분야에서 의사결정 기준으로 사용될 수 없다고 말하는 것도 아닙니다. 또한 약한 증거가 갑자기 신뢰할 만해지는 무조건적인 상황을 옹호하는 것도 아닙니다. 오히려, 수십 년간 많은 이론들과 마찬가지로, 우리는 P값을 과학적 가설을 반박하는지 지지하는지 결정하는 관습적이고 이분법적인 방식으로 사용되는 것을 중단할 것을 촉구합니다
저자들은 p 값을 연구 결과가 받아들여지는지 여부를 결정하는 ‘한 가지’로 인식하는 방식을 바꾸길 요청하고 있습니다. 그들은 그들의 논리를 설명하고, 몇 가지 대안도 제시하는데, 이 부분은 잠시 후에 다루겠습니다.
하지만 먼저, 그들이 주장하는 바를 더 잘 이해하려면 기억을 되살려야 합니다 what p values are 1:
실험에 대한 가정, 예를 들어 효과가 없다는 가정을 고려할 때, 결과가 얼마나 놀라운지를 측정하는 척도입니다. P 값이 ‘통계적 유의성’을 구분하는 임의의 임계값(예: 0.05)을 넘는지 아래인지가 가설이 받아들여지는지, 논문이 출판되는지, 제품이 시장에 출시될지를 결정합니다.
그래서 우리는 결과를 수학적으로 계산해 숫자 X를 얻고, 숫자 X가 <0.05라면 귀가설을 거부합니다. 이는 대안 가설의 신뢰성을 의미합니다 2. 과정 자체는 기계적이지만 어느 정도 이해할 수 있습니다. 문제는 우리가 방금 한 일을 해석하는 데 있습니다. X는 영가설을 거부함으로써 실수를 할 확률인가요? X는 대체 가설을 받아들일 때 틀릴 확률인가요? 1 - X는 당신이 옳을 확률인가요?
위의 해석들은 모두 맞지 않으며, 통계가 직관적이지 않을 수 있는 이유와 그 이유를 보여줍니다 not even scientists for meta-science can explain what p values mean intuitively:
결과가 맞는지 알고 싶지만, p-값은 그것을 측정하지 못합니다. p-값은 효과의 크기, 증거의 강도, 또는 발견이 우연의 결과일 확률을 알려줄 수 없습니다.
그렇다면 p-값에서 어떤 정보를 얻을 수 있을까요? 제가 찾은 가장 직관적인 설명은 로라 앤 존 아놀드 재단의 연구 청렴성 부사장인 스튜어트 벅에게서 나왔습니다. 그는 말하길, 앞면에 가중치가 부여된 동전이 있다고 상상해 보세요. (귀가설은 동전이 공정하다는 것입니다.) 100번 던져도 뒷면보다 앞면이 더 많습니다. p-값은 동전이 공정한지 알려주지 않지만, 동전이 공정했을 때 앞면이 나올 확률은 알려줍니다. 그게 전부입니다 — 그 이상은 아닙니다.
중요한 점은, p값은 당신이 얻은 결과를 얻을 확률이라는 것입니다. 귀가설 하에. 귀가설이 맞았다면, X%의 실험에서 나온 결과만 나왔을 것입니다. X가 낮은 수치이기 때문에 귀가설이 맞을 가능성은 낮다고 가정하고 거부합니다. 이것은 당신이 가진 결과를 얻을 확률을 알려주지 않습니다 귀가설을 가정하지 않을 때는.
한 집단의 평균 키가 0인지 실험을 한다고 가정해 봅시다. 우리는 매우 낮은 p 값을 가진 귀무가설을 거부할 것입니다. 왜냐하면 분명히 모두의 키가 0이>기 때문입니다. 하지만 이것은 우리가 계산한 평균 키가 이 ‘진짜 상태’에서 나올 확률에 대해 아무런 의미가 없습니다. 단지 우리가 평균 키가 나왔을 확률이 낮았다는 것만 알 뿐입니다. 평균 키가 0이라면 3.
분명히 p 값은 대부분 사람들(저도 포함해서)이 믿었던 단순한 예/아니오보다 더 미묘합니다 4. 첫 번째 글의 저자들은 다음과 같이 말합니다:
무엇이 멈춰야 하는지 분명히 합시다: P 값이 0.05와 같은 임계값보다 크거나, 신뢰구간에 0이 포함되었다고 해서 ‘차이가 없다’거나 ‘연관성이 없다’고 결론 내릴 수 없습니다. 또한 한 연구는 통계적으로 유의미한 결과를 얻었고 다른 연구는 그렇지 않았다고 해서 두 연구가 충돌한다고 결론 내릴 필요도 없습니다.
수백 개의 논문을 대상으로 한 설문조사에 따르면, 통계적으로 유의하지 않은 결과는 약 절반이 ‘차이 없음’ 또는 ‘효과 없음’으로 해석된다는 것을 발견했습니다
유의하지 않은 통계 결과는 효과가 없다는 의미가 아닙니다. 사실 저자들은 ‘통계적으로 유의미한’이라는 표현을 피하는 것을 선호합니다:
우리는 동의하며, 통계적 유의성 개념 자체를 포기할 것을 요구합니다.
그들이 그렇게 하는 이유는 이 예/아니오 의미의 지정이 잘못된 이분법이라는 점입니다:
문제는 통계적이라기보다는 인간적이고 인지적인 측면에 더 있습니다: 결과를 ‘통계적으로 유의미한’과 ‘통계적으로 유의미하지 않음’으로 나누면 사람들이 그렇게 배정된 문항들이 범주적으로 다르다고 생각하게 만듭니다 \[…\] 이런 ‘디코토마니아’를 피하는 한 가지 이유는 P값과 신뢰구간을 포함한 모든 통계가 연구마다 자연스럽게 다르며, 종종 놀라울 정도로 차이가 나기 때문입니다. 사실, 무작위 변동만으로도 P 값에 큰 격차가 생길 수 있으며, 0.05 임계값 양쪽에 떨어지는 수준을 훨씬 넘어섭니다.
이건 저에게는 이해가 되지만, 쉽지 않은 싸움인 것 같습니다. 복잡한 결정을 다룰 때 사람들은 간단한 휴리스틱을 원하고, p 값은 무언가를 정당화하기 쉬운 방법을 제공합니다
저자들은 신뢰구간을 사용할 때 유념해야 할 몇 가지 사항도 논의합니다 5:
첫째, 구간이 데이터와 가장 호환되는 값을 준다고 해서 그 외의 값들이 호환되지 않는다는 뜻은 아닙니다; 단지 서로 더 호환성이 떨어질 뿐입니다.
둘째, 가정 내에서는 모든 값이 데이터와 동일하게 호환되는 것은 아닙니다.
셋째, 0.05 임계값과 마찬가지로, 구간 계산에 사용되는 기본값 95% 자체가 임의의 관례입니다.
마지막으로, 그리고 가장 중요한 것은 겸손해지세요: 적합성 평가는 구간 계산에 사용된 통계적 가정의 정확성에 달려 있습니다.
그리고 그들은 p 값에 단일하게 중점을 두지 않는 세상이 어떻게 보일지에 대한 그들의 비전으로 마무리합니다:
은퇴하는 통계적 유의성은 어떻게 보일까요? 우리는 방법 섹션과 데이터 집계가 더 상세하고 미묘해지길 기대합니다. 저자들은 추정치와 그 불확실성을 강조할 것입니다 — 예를 들어, 구간의 하한과 상한을 명확히 논의함으로써 말입니다. 유의성 검정에 의존하지 않을 것입니다. P 값이 보고될 때는 통계적 유의성을 나타내는 별이나 문자 같은 장식 없이 합리적인 정밀도로 제시될 것이며(P < 0.05 또는 P > 0.05) 결과를 해석하거나 출판할지 결정할 때는 통계적 임계값에 기반하지 않을 것입니다. 사람들은 통계 소프트웨어를 사용하는 시간을 줄이고 더 많은 시간을 생각하게 될 것입니다.
제가 전에 쓴 바와 같이, beliefs are tricky과학을 굳게 믿는 사람이라 해도 마찬가지입니다. 실험은 과학적 과정의 핵심 부분이며, 결과를 어떻게 분석할지 이해하는 것이 중요한 부분입니다. p 값에 대한 오해는 뉴스에서 보도될 때 연구에 대한 오해를 낳았습니다. 안타깝게도 p 값을 예/아니오로 해석하는 것이 훨씬 쉬워지기 때문에 당분간 이 상황이 바뀔 것 같지는 않습니다. 해결책이 p 값의 중요성을 줄이는 것인지는 모르겠지만, 오용에 대해 더 인식하는 것이 도움이 됩니다.
Footnotes
-
아래 설명이 나온 기사는 발렌틴 암라인, 샌더 그린란드, 블레이크 맥쉐인이 쓴 첫 의견 글의 주요 주장도 요약하고 있습니다 ↩
-
초안에서 저는 “우리의 가설을 받아들이고 그렇지 않으면 거부하라”고 썼는데, 이는 p 값에 대한 잘못된 해석입니다. 실수를 얼마나 쉽게 할 수 있는지 보여주고, 이 글에서 또 실수를 한 건 아닌지 약간 불안해졌습니다. ↩
-
다시 읽어보면 도움이 된 다른 자료들은 다음과 같습니다 here 그리고 here. p값이 오류율과 다르다는 이유에 대해 이야기하는 것 외에도, 사이트에는 낮은 p값이 어떻게 높은 오류율로 이어질 수 있는지 보여주는 흥미로운 표도 있었습니다:
P 값 귀무가설(실제로 참인 경우)을 잘못 거부할 확률 0.05 최소 23%(보통 50%에 가깝습니다) 0.01 최소 7% 이상(보통 약 15%)이어야 합니다.
↩“이 표의 높은 오류율이 놀라우나요? 안타깝게도 P 값을 오류율로 오해하는 흔한 오류는 영가설에 반대하는 증거가 정당화되는 것보다 훨씬 더 많은 증거가 있다는 착각을 만듭니다. 보시다시피, P 값이 0.05에 가까운 단일 연구를 기준으로 결정한다면, 표본에서 관찰된 차이는 모집단 수준에서 존재하지 않을 수 있습니다.”
-
고등학교와 대학교에서 여러 통계 수업을 들었음에도 불구하고 이런 상황이에요… 이게 얼마나 어려운지, 아니면 제가 이해하는 데 얼마나 오래 걸리는지를 보여주는 것 같아요. ↩
-
또한 ‘호환성 간격’이라는 용어를 선호합니다 ↩
관련 글
엔젤 투자를 위한 켈리 기준에 대한 신뢰
최적의 포트폴리오 사이즈를 추정하기 위한 수학
서평: 무작위성에 속다
무작위성은 무작위처럼 보이지 않는다