#統計 ASA声明原則の1でのP値の基本的な解釈の仕方の説明には、仮説検定と無関係に言える解釈が書かれています。 ASA声明を読まずに(もしくは読んでいても)、P値の解釈は仮説検定について触れないと説明できないと思っている人達は、最初の所でつまずいていることになります。

#統計 ASA声明 scholar.google.co.jp/scholar?cluste… の原則の1にあるP値の解釈の仕方 原文: P-values can indicate how incompatible the data are with a specified statistical model. 私訳: P値はデータの数値と特定の統計モデル(検定したい仮説もモデルの仮定の一部分)の相性の良さの程度を表す。 続く

#統計 【P値<αならば帰無仮説は成立し難いと判断できる】の類誤りになる理由は複数通りあります。 理由1: データの取得法に不備がある可能性や、モデルの妥当性の保証がない場合には、たとえP値<0.001であっても「帰無仮説は成立し難い」とは判断できません。これは統計学の基本中の基本です。 続く

返信先:@Deponn_d6帰無仮説は○○ではない 有意水準5％で検定を行ったとすると、p値が0.05以下であるとき→有意であり、帰無仮説を棄却する (1-p)*100[％] の確率で帰無仮説が棄却される、 ということだと思います。

返信先:@ALeX_EXVS最初にどの様にレギュレーションを決めたのか？次第ではないでしょうか？🤗✨ クレンジングが行き届いたステキなデータ群に対してでしたら、各データの正規性や相関の再現性、問いの弁別性なども申し分なくてType1エラーも起きにくいなどP値に絶大な信頼があるかもですが、きっと稀でしょうから🤗✨

本日は5.1節と5.2節を扱いました。対応のないt検定を題材に、統計的検定の論理とエラー確率のコントロールについて確認しました。p値を実際に計算しました。 pic.twitter.com/kUNxHbDLkH

#統計 Wilsonの信頼区間を与えるP値は、「データの数値の9以上に5から離れた値(すなわち9以上または1以下の値)が生成される確率だと言えるので、「データの数値以上に極端な値が生成される確率」の特殊な場合とみなせます。 WaldのP値も同様ですが、Clopper-PearsonのP値とSterneのP値の説明は面倒。

#統計 Wilsonの信頼区間に対応するP値なら以下のように言える(添付画像左下): ①二項分布Binomial(20, 0.25)は正規分布Normal(5, √3.75)で近似される。 ②P値はその正規分布において 　モデルの期待値20×0.25=5回から 　データの数値の9回以上に離れた値が 　生成される確率 として計算される。 pic.twitter.com/3bysfbL2KQ

⑤ 過剰な死亡の減少は、Kendall τbテストを使用したp値0.002の州別のIVM分布の程度と相関しています。 結論 1987年以来、世界中で37億回分で安全に使用されている薬であるIVMによる大量治療は、逆転したIVM政策の下で13倍に増加する前に、ペルーで過剰死亡が1/14に減少した可能性が最も高い。

「p値を計算するには必ず確率分布（例えば正規分布）に対する仮定が必要なのでそのことを明示しない説明は間違い」というのはある種「パラメトリックモデル教」みたいなものに取り憑かれすぎ（赤池ismとも深く関連する）で、実際には平均と分散だけ仮定すればp〜uniform［0,1］になるとかあるのでは

#統計 P値関数と事後分布のグラフの例を追加。 以下のリンク先のグラフは、線形回帰モデルy=β₀+β₁x+u, u～Normal(0,σ)におけるβ₁に関するP値関数と事後分布のグラフです。 (β₀, β₁, log σ²)に関する平坦事前分布によるベイズ版線形回帰の結果は通常の線形回帰にぴったり誤差無しに一致します。 pic.twitter.com/JFZTSqsaBS

#統計 上のP値は二項分布の正規分布近似を使って作ったP値です。他にも漸近的に同値なP値の作り方が無数にある。 二項分布の正規分布近似を使って作ったP値は 　特定の統計モデルにおいてデータの数値以上に極端な値が生成される確率 としてのP値の分かり易い例の1つになっています。

#統計 データの数値「n回中k回当たり」に関する仮説「当たりが出る確率はpである」のP値の計算の仕方: ①「当たりが出る確率はpである」の設定の二項分布を考える。 ②その二項分布は期待値np、分散np(1-p)の正規分布で近似される。 ③P値=その正規分布でnpからk以上離れた値が生成される確率 pic.twitter.com/LWKkvpC7Ii

#統計 P値に関する誤解や誤用を1つ1つ否定して行っても、根っこにある「楽にお墨付きを得たい」という欲望にタッチしていないので、モグラ叩きになってしまう。 P値単体では決して科学的お墨付きは得られない、とはっきり分かるように教育の仕方を変える必要がある。

#統計 どうしてこういう補足を書いたのか？ 統計学の応用時によく見られる病気にnullism, dichotomania, reificationがあります。 P値として「差がない」の型の帰無仮説のP値しか考えない傾向はnullismの症状の1つ。 nullismに誤誘導してしまわないようにこういう補足を書きました。

#統計 パラメータRD, RR, ORを RD=p-q RR=p/q OR=(p/(1-p))/(q/(1-q)) とおいて、 仮説「RD=具体的な数値」のP値 仮説「RR=具体的な数値」のP値 仮説「OR=具体的な数値」のP値 も作ることができます。0<p,q<1のとき p=q⇔RD=0⇔RR=1⇔OR=1. RD, RR, ORはpとqの違いの異なる指標になっている。

このポストに関連してですが、経済学の実証分析（すなわち計量経済学の論文）において、自分の知る限り、P値関数を使用して、それが推定の1方法であると明確に語っている論文にいまだ遭遇していません。もしもそう語っている情報（論文）を教えていただければ嬉しい限りです。

#統計 1つ上の投稿の内容は実質的に、有意水準α=0.05での帰無仮説「当たりが出る確率はp=1/2」の両側検定の話と同じです。 しかし、「棄却」のような強い言葉を使わずに「相性が悪い」と言っています。P値のみによる判断は危ないので、個人的には曖昧に響く「相性が悪い」の方が安全だと思います。

#統計 仮にデータ取得前に決めておいた閾値α=0.05によって、P値がα以上なら相性が良い、α未満なら相性が悪いと2値的な判断をすることにしていたとする。 そのとき、p=1/2のP値は約0.025なので「当たりが出る確率は1/2」という仮説と「20回中5回」というデータの数値は相性が悪いと判断されます。 pic.twitter.com/Su9gyRb49c

#統計 別のよりくだけた言い方。 特定の統計モデルの下で、検定したい仮説が正しいのにP値<αとなる確率(この確率をαエラー率と呼ぶ)はおおよそαになる。 「αエラー」と「第1種の過誤」は同じ意味。 「おおよそαになる」を「α以下になる」のようにする場合もあります。

#統計 ASA声明 scholar.google.co.jp/scholar?cluste… の原則の1の"the data"は「観察データの数値」と翻訳して、原則の1の全体を P値は観察データの数値と特定の統計モデルの相性の良さの程度を表す と翻訳するとより分かりやすいと思う。 「観察データの数値」は確定した数値であり、確率変数ではない。

#統計 ASA声明の原則の1的な (1) P値はデータと特定の統計モデルの相性の良さの程度を表す と伝統的説明の (2) P値は統計的有意差を出すために使われる は整合性を取ることが難しい。この点についてクリアに考えることは大事なことだと思います。私は(2)は明瞭に否定されるべきだと思っています。

#統計 「P値はデータと特定の統計モデルの相性の良さの程度を表す」というASA声明の原則の1的な説明を最初にすれば、有意水準αを設定した2値的判断と無関係にP値をどのように解釈すれば良いかが最初から明瞭になります。

#統計 ASA声明 scholar.google.co.jp/scholar?cluste… の原則の1: P-values can indicate how incompatible the data are with a specified statistical model. 値の大小関係を保つには"how compatible"(相性の良さ)とした方がよい。私訳: P値はデータと特定の統計モデルの相性の良さの程度を表す。 続く

#統計 両側P値<5%の条件で判断を下す場合には、テストする(対立)仮説達の中で実際に正しいものの割合が大雑把に半分程度以上になる状況で行うべき。 薬の治験は第1,2,3相の多段階になっており、最終の第3相試験の前までにそうなるように期待されているのだと思う。P値云々よりも制度全体が重要。

100万人以上に楽しんでもらえたみたいなので、あとで続きを。定義を踏まえ、まずざっくり解釈を言ってから順を追って、以下： ①p値的なもの、帰無仮説の考え方 ②有意水準とは恣意的なものである ③仮説検定の考え方 ④p値と"仮説が正しい"確率とは無縁である。 (教えるのって難しいんですよ...)

#統計 ちょっと面白いのは、Lehmann, Testing Statistical Hypothesesの第1版ではP値をcritical level (臨界水準)と呼んでいたこと。 第2版で、significance probability (有意確率)、p-value (P値)と呼ぶようになった。 NP流なので "how ～ contradict"と「矛盾」という強い言葉を使う傾向がある。 pic.twitter.com/cwz7tjZT0G

#統計 Welchのt検定の導出で使われるt統計量の定義式の分母の2乗が従う分布のχ²分布の定数倍による近似は、正規母集団の仮定からの逸脱について脆弱で一般にはうまく行きません。 しかし、自由度がmin(m-1, n-1)以上になるお陰でm,nが十分大きいならP値レベルでは正規母集団の仮定からの逸脱に頑健。 pic.twitter.com/w2oKEYfRBm

#統計 例えば、正規分布モデルでの「母平均はμ=170である」という仮説のP値を作りたいとき、正規分布モデルのもう1つのパラメータσ²は任意のままで、σ²に依存しないようにP値を作る必要があります。 この問題の優れた解答が1標本t検定のP値の構成法です。

#統計 例えば、モデルの確率分布がθとηの2つのパラメータを持つとき、仮説「θ=0」を検定で扱うときには、その設定の下でもう1つのパラメータηの値は「任意」ということになります。 しかし、仮説「θ=0」のP値はもう1つのパラメータηに依存せずに決まるように作る必要があります。続く

#統計 以下のリンク先スレッドには「t分布は単なるどんぶり勘定な補正としてのみ使われている」という立場で1標本t検定のP値関数を作るための粗筋が書かれています。 2標本の場合に同様にするとWelchのt検定が得られます。t分布による補正がなくてもそれなりに実用的なのでWelchのt検定は頑健になる。

#統計 P値関数のグラフは高さαに信頼水準1-αの信頼区間の両端の点をプロットしても得られるので、信頼区間について知っている人にとってP値関数は真に新しい道具とは言えません。 しかし、実際にP値関数のグラフを見たことがあるか否かで、P値や信頼区間に関する理解度が変わる可能性は高いと思う。

#統計 P値関数について biostat.ucdavis.edu/sites/g/files/… のスクショの添付画像にあるグラフが、P値関数のグラフです。高さαに信頼水準1-αの信頼区間の両端の点をプロットしても同じグラフが得られるので、P値関数は信頼区間関数と呼ばれることもあります。続く pic.twitter.com/AzbpoXxNED

#統計 1標本t検定のP値pvalue_ttest(x|μ)は、モデルの仮定の下での、データの数値xと「母平均はμである」という仮説の相性の良さの指標だと解釈される。 母平均の信頼水準1-αの信頼区間confint_ttest(x|α)は、閾値αによってデータの数値と相性が良いと判定されるμの値の範囲だと解釈される。

#統計 nを大きくするとt分布TDist(n-1)は標準正規分布Normal(0, 1)で近似されるようになるので辻褄が合っている。 上のP値の定義で標準正規分布をt分布で置き換えることによって補正されたP値を定義する: pvalue_ttest(x|μ) = 2(1 - cdf(TDist(n-1), |t(μ)|)). これが1標本t検定のP値関数である。

#統計 しかし以上のP値は数値実験すると、nが十分大きいなら十分に機能するが、分布p(xᵢ|μ,σ²,η₁,η₂,…)がたとえ正規分布であったとしてもn=10程度では誤差が非常に大きくなることが分かる(αエラー率がαより酷く大きくなったりする)。 そこを上手に補正することを考えたい。続き

#統計 データの数値xでT(μ)中のXを置き換えて得られる値をt(μ)と書くとき、 pvalue_normal(x|μ) = 2(1 - cdf(Normal(0, 1), |t(μ)|)). これが正規分布近似版のP値関数です。信頼水準αのμの信頼区間は confint_normal(x|α) = { μ | pvalue_normal(x|μ)≥α } と定義される。続く

#統計 母平均の検定や区間推定に使えるP値の構成法 母集団分布を未知だが確定している母平均μを持つ分布p(xᵢ|μ,σ²,η₁,η₂,…)でモデル化する。σ²は母平均で、η₁,η₂,…は可能な分布の形状を「任意」にするための無限個のパラメータです。 続く

返信先:@BB45_Coloradoこちらの書籍の1章にASA声明以降の統計解析指針について、2章にサリドマイド薬害を例に医療分野の統計利用について良くまとまっています。 初～中級者向けに有意水準検定の問題点とP値解釈の解説がされているので後付け検定的解釈”医クラ”の方たちに是非読んで欲しいですね。 honto.jp/netstore/pd-bo…