#統計 有意水準αの仮説検定によって「効く」と判断された薬の中に実際には効かない薬がどの程度の割合で含まれるかは、αだけではなく、テストする薬達の中にどれだけの割合で効かない薬が混じっているかにも依存します。 多段階の治験はその割合を下げる仕組みだとみなされます。 x.com/genkuroki/stat…

#統計 p-hackingの類を完全に防ぎ、手順を尽くして仮説検定を完璧に遂行しても、P値<5%という条件によって棄却された帰無仮説達の中での実際には十分に正しいものの割合が数十%と高い値になることがある。 不正と誤用が一切なくても、P値<5%という条件単体には科学的に信頼できる結論を出す力はない。 x.com/genkuroki/stat…

#統計 上の方で説明したように、有意水準5%のNP流仮説検定単体には、効かない薬を購入する確率を小さくする力はない。 第1相と第2相を勝ち抜いた薬だけが第3相に到達できる制度になっているお陰で、第3相でテストされる薬の中での効く薬の割合が十分高くなっていることが本質的に重要。

#統計 有意水準αの仮説検定で「効く」と判定された薬の中での実際には効かない薬の割合は、検定する薬の中での本当に効く薬の割合pに依存します。 仮説検定で「効く」と判定された薬の中での実際には効かない薬の割合をαと同じ程度の大きさに抑えるためには、pを半分程度以上にする必要がある。続く x.com/genkuroki/stat…