#統計 P値については、ASA声明原則1の (a) P値はデータの数値とモデルがどの程度compatibleであるかを表す。 とαエラー率に関する (b) θ=aという設定の下でのモデル内で仮説θ=aのP値がα以下になる確率はαで近似される。 の2つが基本的。ユーザー側はこの2つを知っていれば大抵の場合に困りません。

#統計 ASA声明の原則1に従ってそういう伝統的なやり方に一切従わないというふんぎりがつけば、P値や信頼区間の理解が非常にシンプルで簡単になります。

#統計 ASA声明には、P値を現実に関する判断で安易に使うことを強く否定する説明が繰り返し登場します。 その根拠は原則1の「P値はデータの数値とモデルがどの程度compatibleであるかを表す」で簡潔に説明されています。P値はデータとモデルの関係を与えるが、データと現実の関係を直接には与えない。

ASA声明的な「P値はデータの数値以上に極端な値がモデル内で生じる確率」のような説明だけをして、ASA声明原則1の「P値はデータの数値とモデルがどの程度compatibleであるかを表す」の方を引用しない人は、ASA声明で指摘されているP値に関する理解度の低さを認識できていない人である可能性が高い。 x.com/genkuroki/stat…

返信先:@abonst1009他1人#統計 P値の計算や信頼区間の導出は一時的に現実のことは忘れてモデル内で行うことになるのだと承知していれば、 二項分布モデルBinomial(n, p)の中での標準誤差は√(p(1-p)/n)であることが分かっている という考え方でP値の計算や信頼区間の導出を行うことも当たり前の話になります。

返信先:@abonst1009他1人#統計 P値や信頼区間と現実の直接的関係を完全に断つことは、ASA声明を理解するときには重要なポイントになります。 ASA声明原則1の「P値はデータとモデルがどの程度compatibleかを表す」という説明は、実質的に「おまえらみんな、P値についてまるっきり理解していないぞ」と言っているに等しい。

返信先:@abonst1009他1人注意: ASA声明に原則1を「P値はデータの数値と特定の統計モデルがどの程度compatibleであるかを表す」と訳しました。原文では"how incompatible"になっています。P値が大きい方がよりcompatibleなので"in-"を削除しました。P値とcompatibilityの程度の対応を大小関係を保つように翻訳したかった。

返信先:@abonst1009他1人そこを理解できていないと、「P値はデータの数値と特定の統計モデルがどの程度compatibleであるかを表す」というASA声明の原則1も理解できなくなります。 信頼区間はP値≥αとなるモデルのパラメータの値の範囲なので、ASA声明の原則1に従って解釈されます。

返信先:@abonst1009他1人#統計 母比率に関するP値の計算や信頼区間の導出で使われる標準誤差は、二項分布モデルk~Binomial(n, p)内におけるp̂=k/nの標準偏差のことであり、√(p(1-p)/n)であることがモデルの設定によって分かっているものです。 これと現実の母集団での未知の母比率は無関係。 現実とモデルの混同はアウト。

返信先:@IaaIto他1人有意差検定と言う計算をします。 その結果出た「P値」が0.05より小さい、P値＜0.05になった場合に「有意差がある」となります。選挙は1票差でも有効ですが、アンケートなどの数%の違いでは有意差はありません。

#統計 #julialang 昨日の続きです。 まず，黒木玄さん @genkuroki からコメントいただいた WaldとWilsonのP値関数を定義して，グラフを書いてみました。 (1/n) pic.twitter.com/Dh8zTgHdHk

#統計 P値を与える1つのP値関数の定義さえ与えられていれば、そこから信頼区間の両端の値を計算する2つの関数が得られることを納得するための具体例として、二項分布モデルの場合のWaldとWilsonの信頼区間も計算は便利です。 天下り的に信頼区間の公式を与えられるより、ずっと納得できる。

#統計 高校数学Bの教科書に出て来る信頼区間はWald法による信頼区間で、それを与えるP値関数は p̂ = k/n 2ccdf(Normal(), abs(p̂ - p) / √(p̂*(1-p̂)/n)) になります。WilsonのスコアP値関数は p̂ = k/n 2ccdf(Normal(), abs(p̂ - p) / √(p*(1-p)/n)) で素直で精度が高いのはWilsonの方。 x.com/dannchu/status…

#統計 #julialang 黒木玄さん @genkuroki のポストを参考にP値関数について考えてみることにしました。 二項分布B(n,p)を正規分布N(np,npq)に近似し， np-|np-k| 回以下 または np+|np-k| 回以上である確率を P値関数 pvalue_f(k,p,n) とする。 (1/n) pic.twitter.com/zLqjMjvyHb

この手の予測で非常に懸念するのは、p値(確定範囲)をどれくらい取っているのか？が不明確であるのと、被予測者つまり生徒から見ればN=1なので確率的なたまたま排除されてしまうと不当な排斥が一生続いていまうことである x.com/toyokeizai_edu…

#統計 2つの母平均が等しい場合と比較すれば納得できると思います。 Studentのt検定は母分散が大きい側の標本サイズが大きいと、P値<αとなる確率は小さめになり(添付画像①)、母分散が小さい側の標本サイズが大きいと、P値<αとなる確率は大きめになります(添付画像②)。 github.com/genkuroki/publ… pic.twitter.com/BWpTTAe9sA x.com/tsakai_psych/s…

面白いのが、一枚目１行１列のn1:n2 = 1:0.25（64:16）条件 サンプルサイズが小さい群のSDが小さいとき（左図）はWelchのp値が小さくなりがちなのに、 反対にSDが大きいとき（右図）はStudentの方がp値が小さくなりがち（それでもp < .05は８割いってない） pic.twitter.com/i9Gd1YWu4z

📢歴代の洋楽ヒット曲タイトルをプロンプトにして、ミドジャでイラストを生成してみた♪① 🧙‍♂️ タイトル（オリジナル） --ar 5:7 --s 1000 --p 実際のプロンプトはALTで🫣 みんなの --p値で、どれくらい変わるんだろうな～🧐ﾜｸﾜｸ♪ PS「誰の曲？」って質問は禁止！ 自分でググってね🤭 pic.twitter.com/LhnOxdj0r1

#統計 P値全体 (P値関数)はnull P値と95%信頼区間の両方の情報を含むので、こんな感じのmemeも作れます。 1つ上のmemeは imgflip.com/memegenerator/… で作成。 以下は imgflip.com/memegenerator/… で作成。 pic.twitter.com/XGopLWqNYh

#統計 検定仮説Δμ=μ_x - μ_y ≤ δ のP値 (nullとは限らないP値)は、 仮説 μ_x - μ_y ≤ δ とデータでの数値 x̅ - y̅ の相性の良さの指標の1つ だと解釈されます。 よく見る解説ではδ=0の場合のnull P値のみを扱うという不完全な説明をしています。これが酷い。続き pic.twitter.com/QY2vWxVt8k

#統計 有意水準α=5%=信頼水準1-α=95%の信頼区間は 　閾値αでデータの数値と相性が良いとみなされるパラメータδの範囲 になります。添付画像の橙色の横線が片側検定に対応する95%信頼区間です。 相性の良し悪しはP値≥αの成否で判断されるちいうルール。続く pic.twitter.com/fm7B8R5n6V

#統計 有意水準α=5%を使って、P値<αなら「相性は悪い」とP値≥αなら「相性は良い」と言い切ることにすると、 添付画像①の場合: 仮説μ_x - μ_y ≤ 0とデータでの数値x̅-y̅=1(小さめの値)の相性は良い。 添付画像②の場合: 仮説μ_x - μ_y ≤ 0とデータでの数値x̅-y̅=5(大きめの値)の相性は良い。 pic.twitter.com/eHhs5lYoOa

#統計 検定仮説Δμ=μ_x - μ_y ≤ 0 のP値 (null P値と呼ぶ)は、 仮説 μ_x - μ_y ≤ 0 とデータでの数値 x̅ - y̅ の相性の良さの指標の1つ だと解釈されます。x̅ - y̅ が正の方向に大きくなればなるほど仮説 μ_x - μ_y ≤ 0 との相性は悪くなります。 添付画像のグラフでもそうなっています。続く pic.twitter.com/fMYSJbQOxe

#統計 添付画像は既知の分散10²を持つ2つの正規母集団というモデルの設定での母平均に差Δμ=μ_x-μ_yに関する 帰無仮説Δμ≤δ (検定仮説と呼ぶ) 対立仮説Δμ>δ のP値のグラフ。 標本サイズはm=24, n=40. 添付画像①は表品平均の差がx̅-y̅=1の場合。 添付画像②は表品平均の差がx̅-y̅=5の場合。 続く pic.twitter.com/VUkj376NTT

#統計 Neyman-PearsonのPearson氏も1955年に、「仮説検定は最終判定を与えない。しかし、道具として最終的な意思決定の形成を助ける」と言っています。 「P値<5%」のような条件単体で判定を下すのは誤りで、有益な情報の1つとして利用するのが正しい。 薬が効くかどうかの判定でも当然そうなります。 x.com/genkuroki/stat…

#統計 一般に信頼水準1-αの信頼区間は「P値≥αとなるパラメータの値の範囲」になります。 帰無仮説Δμ:=μ₁-μ₂≤0のP値p₀はグラフではδ=0のP値です。P値はδについて単調増加なので、「P値≥p₀となるパラメータの値の範囲」は自明に0以上の実数全体になります。 自明！ github.com/genkuroki/publ… pic.twitter.com/SK48oRIRJC

#統計 以上の話を理解し易くするための計算例のグラフも作りました。 青線は片側P値のグラフ。 橙横線は片側95%信頼区間。 帰無仮説μ₁-μ₂≤0のP値p₀は緑横破線の高さで、緑横破線は片側の信頼水準1-p₀の信頼区間です。自明な理由で0以上の実数全体になる。 #Julia言語 github.com/genkuroki/publ… pic.twitter.com/b8wxxNKyh6

#統計 続き。信頼区間の被覆確率1-αのαは標本の値によらずに決まっている定数です。P値p₀は標本の値の関数です。この辺の違いが全然考慮されていないように見える。 これは査読をされずに出版されたのでしょうか？ pic.twitter.com/ClhM20PB5Q

#統計 σは既知の設定。 μ₁とμ₂は母平均達なので固定された未知の数値です。 だから、μ₁-μ₂>0となる確率は1または0です。 帰無仮説μ₁-μ₂≤0のP値p₀は標本を取り直すごとに値がランダムに変わる確率変数とみなせます。「1-p₀の確率でいえる」の意味が不明になる。続く x.com/genkuroki/stat…

#統計 jstage.jst.go.jp/article/jjb/38… 柳川堯(2018) は信頼区間についても滅茶苦茶なことを書いています。 ↓ 【p値がp₀であるということは，µ₁−µ₂の信頼度1−p₀の信頼下限が正であること，つまりバラツキを考慮してもµ₁−µ₂>0であることが1−p₀の確率でいえるということである】 pic.twitter.com/0Er6nDd7av

ブラウザだけで使える無料統計ソフト Reactive stat のサマリー表の作成 (Table One) をアップデートしました。 emuyn.net/stats/table_one 1x2 または 2x1 の表になった場合の p値の計算に、二項検定 (Binomial test) を行えるようにしました。

返信先:@mazuisakeちゃんと読んでみました。尤度比は自然対数としてln(LR) = z(N – A) – 1/2(N^2 – A^2)で算出しており、P値を二値的ではなく連続的な尺度で分析していますね。既存のデータを次元を変えて分析しているだけなんでHARKingということにはならないかと💦medyで取り上げたいと思います。

信頼係数1-p(pはp値)の信頼区間の下限は常に0をまたがず、nが大きくなっても信頼区間幅は一定らしい。 jstage.jst.go.jp/article/jjb/38… #iron勉強メモ

この例の母集団分布（帰無仮説 (Sharp Null)分布）は 1, 4, 3, 2, 1, 1, 3, 4, 1, 0, 2, 1, 2, 1, 4, 1, 3, 2, 3, 1 である。それを２つの群へランダム割当するシミュレーションを 100 万回とか試行して、平均値の群間差 (MD) をプロットすれば確率分布（尤度分布）ができあがり正確なＰ値を算出できる pic.twitter.com/Jt4Ti6E3Ji

#統計 P値のαエラー率を見せるためのシミュレーションでは、P値という1個の数値を繰り返し計算するだけでよい。 しかし、信頼区間の被覆確率の方では、信頼区間の両端の2つの値を繰り返し計算する必要があります。 後者は、前者と数学的に同等の計算を面倒臭い方法でやっているだけ。😅

#統計 以下のリンク先の証明は本質的に、 (信頼水準1-αの信頼区間) = { a | (仮説θ=aのP値)≥α } のとき、 (信頼区間の被覆確率) = 1 - (P値のαエラー率) が成立していることを示しています。 信頼区間の被覆確率に感する説明は本質的にP値のαエラー率に関する説明と同じだということになります。 x.com/genkuroki/stat…

#統計 脱線しまくった。 P値について教えるときには、「違いはない」型のゼロ仮説単独の1つのP値のみを見せるのではなく、常に「違いはaである」の型の仮説達の無数のP値を見せるようにしたいものだと思います。 ゼロ仮説への異様なこだわりはnullismという名の病気の症状の1つです。「有意差病」 x.com/genkuroki/stat…

#統計 非常に確からしい帰無仮説については、「P値<5%」や「P値<1%」という条件で棄却しても、その棄却は全然信用できないわけです。 例えば、超能力などないという極めて確からしい仮説に対応する帰無仮説が仮説検定で棄却されても、超能力があると信じることは不合理になります。

#統計 そもそもP値はデフォルトでは仮説の成否の判断に役に立たない道具です。デフォルトでは、 　データの数値とモデル+検定したい仮説の相性の良さの程度 を測る指標の1つに過ぎません。 非常に特殊な条件の下でのみP値は科学的判断で威力を発揮できます。