✏️二項分布において検出力からサンプルサイズを求める計算をPythonで実装してみた 有意水準、事象の確率、帰無仮説の確率、検出力から必要なサンプルサイズを求めることができます ichi-waka.com/archives/binom…

#統計 補足 緑縦線のαの値は検出力が80%になる有意水準の値になります。 通常のよくある計算には、仮想的なtrue pの値を固定してnの方を動かして、検出力が80%になるαの値(緑縦線)が5%になるようにすることに対応。 リンク先の添付画像ではnを固定して仮想的なtrue pの値を動かしています。

返信先:@genkuroki> 事前研究で推定された効果の大きさの下で必要な検出力を得るための標本サイズの計算で使われています。 これで腑に落ちました。ありがとうございます。

#統計 しかし、具体的に与えられた仮想的な確率分布で生成されたデータについてはP値の確率分布も得られ、その場合にはP値の分布がどの程度広がっているかを考えることができます。 そういうことは事前研究で推定された効果の大きさの下で必要な検出力を得るための標本サイズの計算で使われています。

「サンプルサイズ計算に基づいた n にピッタリ一致してなければならない。多すぎてもダメ」という考え方は、上述の③（ベイズにおける中心極限定理）が考慮されてないからダメ。検出力 80% とか（50% 以上）で P=0.04 くらいだと「リンドレー効果」（パラドックスというほどではない）もあるからダメ。

GW中にまとめられなかったけど、2標本KS検定の代わりに累積距離を使う検定について調べた。位置、尺度、形状の変化に対応し、計算も軽く、KSより検出力が高い傾向が見られた。ただし、そもそもKSの検出力が低過ぎるので他の検定とも比較が必要。改善した理由もまだ一部しか分かっていない。

標本の大きさが小さすぎるとき検出力が小さく第二種の誤りが大きくなり信頼できる解析ができない。 標本の大きさが大きすぎるとき費用がかさむ。 対立仮説 H1 が正しいとき帰無仮説 H0 を棄却する確率 (検出力) を計算することにより必要な標本の大きさ n を計算することができる。 1 / 2 pic.twitter.com/jAvstLd2q5

#統計 有意水準5%、検出力80%の仮説検定を理想的に利用しても、再現性がない研究が大量生産される可能性があることを示す簡単な計算例については、最新しまりす本 asakura.co.jp/detail.php?boo… の試し読みの9-10ページ(本の5-6ページ)を見て下さい。 統計学を教えている人はこの本を読むべき。