#統計 p-hackingの類を完全に防ぎ、手順を尽くして仮説検定を完璧に遂行しても、P値<5%という条件によって棄却された帰無仮説達の中での実際には十分に正しいものの割合が数十%と高い値になることがある。 不正と誤用が一切なくても、P値<5%という条件単体には科学的に信頼できる結論を出す力はない。 x.com/genkuroki/stat…

#統計 上の方で説明したように、有意水準5%のNP流仮説検定単体には、効かない薬を購入する確率を小さくする力はない。 第1相と第2相を勝ち抜いた薬だけが第3相に到達できる制度になっているお陰で、第3相でテストされる薬の中での効く薬の割合が十分高くなっていることが本質的に重要。

#統計 有意水準の低さが実効的な危険率(仮説検定で効くと判定された薬の中での効かない薬の割合)の低さを意味しないことは、昔から統計学入門の定番のネタの1つだと思います。 例えば『ダメな統計学』でも解説されています。 x.com/genkuroki/stat…

#統計 仮説検定に関わる実効的な危険率は、有意水準αと検出力1-βだけでは決まらず、事前確率γ (テストする対立仮説が正しい割合)にも大きく依存します。 疑わしい対立仮説を示したい場合には有意水準を嫌になるくらい低くする必要があるかもしれない。

#統計 例えば、テストする薬達の中での効く薬の割合をγと書くとき、仮説検定で「効かない」という帰無仮説が棄却された薬の中での実際には効かない薬の割合(実効的な危険率)は、有意水準αを小さくすれば小さくなりますが、事前確率γを小さくなると大きくなるので、そのせめぎ合いになります。

#統計 有意水準αの仮説検定で「効く」と判定された薬の中での実際には効かない薬の割合は、検定する薬の中での本当に効く薬の割合pに依存します。 仮説検定で「効く」と判定された薬の中での実際には効かない薬の割合をαと同じ程度の大きさに抑えるためには、pを半分程度以上にする必要がある。続く x.com/genkuroki/stat…

「○によって変わるから答えようがない」となるよね 「Ｐ値」や「Ｐ値に基づく仮説検定」も同様：「（事前分布）x 観測値 = 解釈できる確率（頻度・割合）」なので、事前分布が不明な場合は「Ｐ値」も「仮説検定」も解釈不能。RCT はある程度は解釈可能だが、観察研究は無理 x.com/ueafam/status/…

#統計 テストする帰無仮説達の中に正しいものと誤りのものが半々で含まれているとき、検出力1-β有意水準αの仮説検定で棄却された帰無仮説達の中での実際には正しいものの割合はα/(1+α-β)≈αになる。 つまり、正しい確率が半々の仮説を扱う場合には、有意水準αはそのまま実効的な危険率とみなせます。 x.com/genkuroki/stat…

χ二乗検定…仮説検定に使う手法のひとつ、期待値からのズレの大きさから、集めたデータが帰無仮説に従うか、あるいは異なるかを検定する手法。 帰無仮説…対象もう1つのものと差がない、という仮説。この場合、イカサマサイコロは普通のサイコロと同じような割合で目が出るという仮説。…

#統計 テストする薬達の中での効く薬の割合pが50%ならば、有意水準5%(両側)の「危険率」の仮説検定で「効く」と判定された薬達の中での実際には効かない薬の割合は3%と小さめの値になる。 しかし、p=10%、5%、1%ならば同割合は22%、37%、76%と大きくなり、酷いことになります。

#統計 「P値<5%」という条件で「薬は効く」と判断することは、仮説検定に関わる諸々がすべて理想的になっていたとしても、テストする薬達の中で効く薬の割合が半分以上でなければ危ない、と考える必要があります。 仮説検定は理想的に使ってもそういう制限が入ります。続く

#統計 テストする薬達の中で効く薬の割合pが半分程度以上なら仮説検定によって再現性の危機は生じない。 しかし、pが10%や5%以下になると、一切の不正がなくても、仮説検定を単純に使うと自動的に再現性の危機が発生し、効くと判定された薬の中に効かない薬が数十%の割合で含まれるようになる。

#統計 薬の承認制度が、事前登録された研究計画の仮説検定の結果しか認めないだけではなく、多段階勝ち抜き戦になっている必要がある理由は、1段階で終わらせると、HARKingやp-hackingの類を十分に防いでも、効かない薬が承認される割合が高くなってしまうからです。(小5レベルの割合計算で分かる。)

#統計 条件付き確率(ベイズの定理)の説明のために、 病気かどうかを調べる検査では、検査する人たちの中に実際に病気の人が十分高い割合で含まれていないと、偽陽性率が高くなってしまうこと をよく例に使います。P値<αという条件を使う仮説検定についても同じことを言えます。