Hero for P値 - あなた(そして私)は間違っています
· Risk & Decision Making · 8 分で読めます
日本語

P値 - あなた(そして私)は間違っています

私たちの多くは、統計学の授業でp値について勉強したことがあります。その時点で十分理解したと思っています。結局、私たちはそのクラスに合格したのですから。しかし、私たちの多くは非常に間違っています。

p値の広範な誤用により、 some scientists are speaking out against the application of p values in research:

私たちはP値の禁止を求めているわけではありません。また、製造プロセスが品質管理基準を満たすかどうかの判断など、特定の専門的な応用においてP値を意思決定基準として使えないとも言っていません。また、弱い証拠が突然信頼できるものになる「何でもいい」状況を推奨しているわけでもありません。むしろ、数十年にわたる多くの例と同様に、私たちはP値を従来の二項対立的な方法で使うことをやめるべきだと求めています。つまり、結果が科学的仮説を否定するか支持するかを判断するために使われるのです

著者たちは、p値を「研究結果が受け入れられるかどうかを決める一つの要素」として捉える見方を変えたいと求めています。彼らはその理由を説明し、またいくつかの代替案も示しています。これは後ほど触れます。

まず最初に、彼らが何を主張しているのかをよりよく理解するために、記憶を復習すべきです what p values are 1:

実験に関する仮定(効果が存在しないことなど)を前提とした結果の驚きの度合いを測る指標です。P値が「統計的有意性」を示す任意の閾値(例:0.05)を超えているか下回るかが、仮説の受け入れ、論文の発表、製品の市場投入を決定します。

結果を計算して数値Xを得て、数値Xが<0.05なら帰無仮説を却下します。これは代替仮説の信頼性を示唆します 2.このプロセス自体は機械的に見えますが、ある程度理解できます。問題は、私たちが今行ったことを解釈することです。Xは帰無仮説を拒否することで間違いを犯す確率ですか?Xは代替仮説を受け入れた際に間違っている確率ですか?1 - Xはあなたが正しい確率ですか?

上記の解釈はいずれも正しくなく、統計が直感的でない理由を示している not even scientists for meta-science can explain what p values mean intuitively:

私たちは結果が正しいかどうか知りたいのですが、p値はそれを測るものではありません。効果の大きさや証拠の強さ、偶然の結果である確率を教えてくれません。

では、p値からどんな情報が得られるのでしょうか?私が見つけた最もわかりやすい説明は、ローラ&ジョン・アーノルド財団の研究誠実性副社長、スチュアート・バック氏から得ました。彼はこう言いました。例えば、表に重み付けされていると疑われるコインがあると。(帰無仮説は、そのコインが公平であるということです。)100回投げると、表の方が裏より多くなります。p値はコインが公平かどうかを教えてくれませんが、公平だった場合と同じくらいの表が出る確率を示します。それだけです。それ以上はありません。

重要なのは、p値は結果を得る確率であるということです。 帰無仮説の下で.もし帰無仮説が正しければ、X%の実験で得た結果しか得られなかったはずです。Xが低い数値なので、帰無仮説が正しい可能性は低いと仮定し、それを却下します。これは、あなたが得た結果が得られる確率を示すものではありません 帰無仮説を仮定しない場合.

あるグループの平均身長が0であるかどうかを調べる実験があると仮定しましょう。明らかに全員の身長が>0なので、p値が非常に低い帰無仮説は却下します。しかし、それはこの「世界の真の状態」で計算した平均身長を得る確率については何も示していません。それは単に、私たちが得た平均身長を得る確率が低かったことを示しています。 平均身長が0ならば 3.

明らかにp値は、多くの人(私自身も含めて)が信じていた単純なイエス/ノーよりも複雑です 4.最初の記事の著者たちは次のように述べています。

止めるべきことは明確にしましょう。P値が0.05のような閾値より大きいからといって、信頼区間にゼロが含まれているからといって「差がない」や「関連がない」と結論付けるべきではありません。また、一方が統計的に有意な結果を得てもう一方がそうでなかったからといって、2つの研究が矛盾していると結論付けるべきでもありません。

数百件の記事を対象とした調査では、統計的に有意でない結果が約半数で「差なし」または「効果なし」と解釈されていることがわかっています

有意でない統計結果は、効果なしと同じ意味ではありません。実際、著者らは「統計的に有意」という表現の使用を避けています。

私たちも同意し、統計的有意性という概念自体を放棄すべきだと主張します。

彼らがそうする理由は、この「はい/いいえ」の意味の区分が誤った二分法であるからです。

問題は統計的というより人間や認知にあります。結果を「統計的に有意」と「統計的に有意でない」に分類すると、割り当てられた項目がカテゴリー的に異なると思われがちです […] このような「二元癖」を避ける理由の一つは、P値や信頼区間を含むすべての統計が研究ごとに自然に異なり、しかも驚くほど大きく異なるからです。実際、ランダムな変動だけでも、0.05の閾値の両側に収まるだけでは、P値に大きな差が生じることが容易です。

これは私には納得できますが、かなり厳しい戦いのようです。複雑な意思決定を扱うとき、人々はシンプルなヒューリスティックを使いたいと考え、p値は何かを正当化する簡単な方法を提供します

また、信頼区間を使用する際に注意すべき点も述べています 5:

まず、区間がデータと最も整合的な値を与えているからといって、その外の値が互換性がないわけではありません。単に互換性が低いだけです。

次に、仮定のもとで、すべての値がデータと同等に整合しているわけではありません。

第三に、0.05の閾値と同様に、区間計算に使われるデフォルトの95%は恣意的な慣習です。

最後に、そして最も重要なのは謙虚であることです。適合性評価は区間を算出する際に用いられる統計的仮定の正確性にかかっています。

そして、p値に一つだけ重点を置かない世界がどのようなものになるかという彼らのビジョンをまとめています。

統計的有意性を退去する際はどのようなものになるのでしょうか?方法のセクションやデータ集計がより詳細かつ微妙になることを期待しています。著者は推定値とその不確実性を強調します。例えば、区間の下限と上限を明示的に議論することで。有意性検定には頼りません。P値が報告される際は、統計的有意性を示す星や文字などの装飾を除き、統計的有意性を示すための装飾を除き(P < 0.05やP > 0.05)を用いて、合理的な精度で示されます。結果の解釈や公開の決定は統計的な閾値に基づくものではありません。人々は統計ソフトウェアに費やす時間を減らし、より多くの時間を考えるようになります。

以前にも書いたことがありますが、 beliefs are trickyたとえあなたが科学を強く信じていても。実験は科学的プロセスの重要な部分であり、結果の解釈方法を理解することはその重要な要素です。p値の誤解は、ニュースで報道される研究に対する誤解を招いています。残念ながら、p値をイエスかノーの判断で解釈しやすいため、この状況はすぐに変わるとは思えません。解決策がp値の重要性を減らすことかどうかはわかりませんが、誤用に気づくことは役立ちます。

Footnotes

  1. 以下の記事の引用は、Valentin Amrhein、Sander Greenland、Blake McShaneによる冒頭の意見記事の主な主張も要約しています ↩

  2. 最初の草稿では「仮説を受け入れ、それ以外は拒否する」と書きましたが、これはp値の誤った解釈です。これは間違いを犯しやすいことを示していますし、今はこの投稿でまた間違えたのではないかと少し疑心暗鬼になっています。 ↩

  3. 他に参考になったリソースは以下の通りです here および here.p値がエラー率と同じでない理由について話すだけでなく、サイトには低いp値がエラー率につながる理由を示す興味深い表もありました:

    P値帰無仮説(実際に真である仮説)を誤って拒否する確率
    0.05少なくとも23%(通常は約50%)です。
    0.01最低でも7%(通常は約15%)です

    「この表の高い誤差率に驚きましたか?残念ながら、P値を誤り率と誤解することが多いため、帰無仮説に対する証拠が正当化されていないほど多くの証拠があるように見えます。ご覧の通り、P値が0.05に近い単一の研究に基づいて判断すると、サンプルで観察された差は母集団レベルで存在しない可能性があります。」

    ↩

  4. 高校や大学で複数の統計の授業を受けていたにもかかわらずです…これはどれだけ難しいか、あるいは理解するのにどれだけ時間がかかるかを示しています。 ↩

  5. また、彼らは「相性間隔」という用語を好む ↩

ディスカッション

What did I miss?

建設的な反論、追加の証拠、異なる見方を歓迎します。

ディスカッションを読み込んでいます…

非公開での連絡をご希望ですか？ Leonにメール.

関連記事