#統計 まとめ * αエラー率と検出力などを実際に計算するまで、検定法の比較評価は控えるべきである。 * αエラー率と検出力がどうなるかは、多くの場合に実際に計算してみないと分からない。 * 離散分布モデルでの検定法については、確率を正確に計算する方法が良いとは限らない。

#統計 UMPU検定に近い構成法で得られるFisher検定が数値的にUMPU検定とは全然違い、近似を使うχ²検定の方がUMPU検定と似たような検出力を持つということも、実際に地道に計算しないと分かりません。 UMPU(UMP unbiased)検定についてはLehmannさんの超有名な教科書を参照 ↓ google.com/search?q=Lehma…

#統計 理想的だが実践的には使えないUMPU検定はFisher検定と同様の方法(条件付き確率分布を使う方法)を使って構成されるのですが、Fisher検定とUMPU検定は検出力の比較で大きく違い、近似を使うχ²検定はUMPU検定に非常に近いという結果が得られています。 nbviewer.org/github/genkuro… pic.x.com/6ui5vovyug x.com/genkuroki/stat…

・【運命のFOMC】動くか仮想通貨ビットコイン -金融業界/株式投資/配当金ゲット！ ・今月末に株式分割が控えている5銘柄#高配当株投資#株式投資#配当金生活#ni... #統計 #貿易 #暗号資産 気になる方は要チェックです✨ 　　　　↓↓↓↓ ▼コツコツお金を稼ぐ副業チャンネル blogmura.com/profiles/11156…

#統計 2×2の分割表の2つの二項分布モデルにおける 理想的だが実践的には使えないUMPU検定 Pearsonのχ²検定 Fisher検定 の有意水準5%でも検出力の比較(続く) ↓ x.com/genkuroki/stat…

#統計 確率についての直観的な処理は人間にとっては非常に難しいです。本当に難しい。 検定法の評価において基本になる確率の数値であるαエラー率と検出力の数値をコンピュータで地道に計算して確認するまで、検定法の評価について変な思い込みを持たないように注意するべきだと思います。 x.com/florets1/statu…

#統計 そもそも使用するデータの数値にはバイアスが入り込んでいる疑いが常にあるので、理想化されたモデル内での確率を正確に計算しても大してうれしくない。 あと、モデル内確率についても人間の直観はあまり効かないので、αエラー率などをコンピュータで地道に計算して確認するべきです。 x.com/florets1/statu…

#統計 二項分布や多項分布の検定法についても同様です。 確率を正確に計算する検定法もαエラー率の意味では不正確な検定法になり、正規分布近似を使う方法との比較では利点だけではなく、欠点もある。 方法の選択はトレードオフの問題でしかない。 x.com/florets1/statu…

#統計 しかし、Pearsonのχ²検定では (αエラー率) ≈ α という近似は効率的に実現できても、(αエラー率) > α となる場合が生じることを防げません。 要するに、Pearsonのχ²検定とFisher検定はどちらも不正確であり、それぞれ異なる利点と欠点を持つということです。 x.com/florets1/statu…

#統計 特に2×2の分割表でのFisher検定では検出力が犠牲になり易いです。 2×2の分割表では、Yatesの連続性補正なしのPearsonのχ²検定の方がαエラー率がαに近くなり、理想的なUMPU検定に近い性質を持つ場合が多いことを数値計算で確認できます。続く x.com/florets1/statu…

amzn.to/354Kegl 「統計学」のマージャン戦術 (近代麻雀戦術シリーズ):気軽に楽しみたい人よりは、しっかりと数値とともに学びたい人向けです。#統計

#統計 離散分布モデルについての実践的に使用可能なすべての検定法は「(αエラー率)=α」を満たしていないという意味で、不正確な検定法になります。 確率を正確に計算する方法によって「(αエラー率)≤α」となるようにはできますが、αエラー率がαよりひどく小さくなって検出力が犠牲になったりします。 x.com/florets1/statu…

#統計 続き。離散分布モデルの検定法であっても、同一の固定されたデータの数値から帰無仮説が棄却されるか否かを確率的にランダムに決めることを許せば、「(αエラー率)=α」を実現できるのですが(所謂UMPU検定はそういう話)、実践的には使えません。 x.com/florets1/statu…

#統計 「近似しなくてよいならしない方がうれしい」という有害な誤解は非常によく見ます。 検定法の性質の理解ではまずαエラー率がどうなっているかが重要です。 理想的には「(αエラー率)=α」となっていて欲しいのですが、離散分布モデルの検定法では近似を使わない方法でもそうなりません。続く x.com/florets1/statu…

返信先:@florets1#統計 その近似しない方がうれしいという感覚は酷く間違っています。 特に有害だと思われるのは、2×2の分割表の場合の「χ²検定はFisher検定の近似に過ぎないので、近似を使わないFisher検定の方がうれしい」のような感覚。酷く蔓延している。 詳しくは ↓ x.com/genkuroki/stat…

#統計 2×2の分割表でのPearsonのχ²検定とFisher検定に関する蔓延している誤解(コクランルールに従うべきだと教える誤り)については以下のリンク先スレッドとそのリンク先にある資料を参照。 統計学ユーザー界には伝統的に誤解が蔓延している。昔から言われていることの多くが誤り。 x.com/genkuroki/stat…

#統計 近似を嫌う人達は基本的なことを酷く誤解していることが多いので要注意です。 特に有害だと思うのは、2×2の分割表について χ²検定はFisher検定の近似に過ぎないので 可能ならばFisher検定を常に使った方がよい のような間違った考え方が蔓延していることです。 その辺、大丈夫でしょうか？ x.com/florets1/statu…

#統計 多項分布に限らず、任意の離散分布P(x)のデータの数値xに関するP値を pvalue(x) = Σ_{P(k)≤P(x)} P(k) (x以下の確率になるkの確率全体の和) で定義できます。これを、すべての目の出る確率が等しい多項分布に適用すれば多項分布をそのまま使う検定法が得られます。 計算量は非常に増えます。 x.com/genkuroki/stat…

#統計 もしも「正規分布近似を使う方法よりも確率を正確に計算する方法の方が常に優れている」のように考えているとしたら、それは誤解です。 文献 ↓ scholar.google.co.jp/scholar?cluste… Approximate is better than “exact” for interval estimation of binomial proportions Agresti-Coull 1998 x.com/florets1/statu…

#統計 多項分布をそのまま使う検定法も容易に作れます。流行らない理由は知りません。続く x.com/florets1/statu…

アノマリ〜食人の9月19日(Thu)つまみ食い！ ドル高レベル3、円はモヤモヤしているのでクロス円NG、ドルストレートは左USD買い右USD売り推奨です。 詳細・その他通貨、続きは shock-nin.info #アノマリー #統計 #確率 #為替 #AI #学習

#統計 正規分布近似(多変量の場合を含む)が有効な場合ごとに無数のカイ二乗検定があります。 大事なことなので繰り返します。カイ二乗検定は無数にある。 最尤法の漸近論に付随する対数最大尤度比法、スコア法、Wald法は全部カイ二乗検定を与えます。 x.com/florets1/statu…

#統計 二項分布Binomial(n, p)の正規分布近似は結構小さなnpやn(1-p)であってもそう悪くないです。 二項分布の正規分布近似の基礎はn→∞で精度が高まるn!のスターリング近似だとみなせるのですが、スターリングの近似公式の相対誤差はn=1であっても8%弱で結構小さいです。 #Julia言語 →ALT pic.x.com/bxvldj0voj x.com/florets1/statu…

#統計 普通に多項分布を使います。「すべての目が出る確率は等確率」という帰無仮説のカイ二乗検定(多項分布の正規分布近似を使う検定法、自由度は(目の個数)-1))はスタンダード。 これは二項分布の正規分布近似による検定法の一般化になっている。 x.com/florets1/statu…

中部スーパー４社の８月売上高、３社が増収 #小売り　#統計 | 中部経済新聞電子版「中経オンライン」 chukei-online.com/article/OK0002…

#北海道財務局 #法人企業景気予測調査 結果（令和6年7月～9月期）（当局管内分）を公表しました。 ＜企業の景況＞ 現状：「上昇」超となっている。 #統計 #景気 #景況感 #経済予測 lfb.mof.go.jp/hokkaido/touke… pic.x.com/v81udceutz

‘ おはようございます！！ 【難易度：★★★☆☆】 さて問題です。 これは何の支出でしょうか？ ＜選択肢＞ ① 電球・ランプ ② ティッシュペーパー ③ タオル 正解は本日17時。 今日も楽しい一日を！！ ★ファミマビジョンで出題中★ gate-one.co.jp/news/info/8326/ #統計 #クイズ #地理 #GIS pic.x.com/4ab04yvton

アノマリ〜食人の9月19日(Thu)つまみ食い！ ドル高レベル3、円はモヤモヤしているのでクロス円NG、ドルストレートは左USD買い右USD売り推奨です。 詳細・その他通貨、続きは shock-nin.info #アノマリー #統計 #確率 #為替 #AI #学習

この会社の統計解析レポートは参考になりました。 データ解析の相場って幾らくらいなんだろう？ statsokinawa.com #統計 #解析レポート

#統計 優劣の測り方を変えると別の優劣を測っていることになるという当たり前のことを忘れて、「t検定の代わりにMann-WhitneyのU検定を使ってよい。とにかく有意差を出せればよい」のように考えている人たちはまるっきりダメな考え方をしていることになります。 そしてそれを支援することも有害。

#統計 Xの母集団とYの母集団のどちらがどれだけ優れているかを知りたいときには、違いを測るための適切な指標を決める必要があります。 異なる指標の間には基本的に互換性はない。 例えば、母平均の大きさで比較することと、母勝率と1/2の大小で比較することの間には互換性はない。続く

#統計 さらに、X,Yが正値なら、パラメータaを p(a) = P(exp(a)X<Y) + P(exp(a)X=Y)/2 と入れることができる。こういう感じで他にも色々なパラメータを入れることができます。 どのパラメータの入れ方が適切かはケースバイケース。ユーザーが自分で考えるべきこと。

#統計 2つ目。さらにパラメータaを p(a) = P(X+a<Y) + P(X+a=Y) を入れて、p(a)=1/2という仮説のP値をaの値とデータの数値の相性の指標とみなすことによって、aの値を効果の指標とみなすこともできます。 p(a)=1/2となるaはX+aとYが互角になるaの値で、YがXよりどれだけ強いかを表す指標になる。

#統計 Brunner-Munzel検定での効果の指標として使うパラメータも選択肢には複数通りあることも余り理解されていない。 1つ目。YのXに対する母勝率 p = P(X<Y) + P(X=Y)/2 がどれだけ1/2より大きいか小さいかが効果の指標として使えます。続く

amzn.to/2yu4oCt 数学ガール (数学ガールシリーズ 1)：いち、いち、に、さん。から始まるフィボナッチ数列。僕とミルカさんとテトラちゃんの物語。#数学 #統計

#統計 このスレッドに書いたことは統計ソフトの開発者側にとって非常に頭が痛い問題。 ソフトの改善を提案して来るユーザーの多くは、過去に杜撰で有害な検定法選択フローチャートを教わっていて、現在もそれに従っている基本的なことを理解していない人達。

#統計 以前は、統計分析の結果をまとめた表を見たときに「書いてある数値はおそらく正しいだろう」と思っていたのですが、数値の再現をやるようになってからは、「きれいにまとめられた表にある数値は無視できない割合で間違っているだろう」と思うようになりました。 正直あんまり楽しくない。

#統計 おかしなことを言う人たちが多い理由は複数ある。 * 統計学に科学的お墨付きを求めてしまう誤解。 * P値として「違いがない」の型のゼロ仮説しか考えない誤解。 * 最尤法とベイズ法の漸近論に関する数学的無知。 * 昔から言われていることを安易に信用してしまう誤り。

#統計 おとなしめの事前分布の場合には、ネストしているモデルのベイズファクターについても、P値との近似的な対応公式を作れます。そういう場合には、ベイズファクターを使ってできることは、P値を使ってもできる。 この辺はおかしなことを言う人達が多過ぎ。査読済み出版論文も信用できない。

#統計 平坦に近いおとなしめの事前分布を使用する限り、ベイズ統計を使っても、以上の問題は一切解消されないことにも注意が必要。 事前分布がおとなしめならば、事後分布におけるθ≤aの確率と仮説θ≤aの片側P値は近似的に一致します。その場合にはベイズ統計を使ってもP値を使うのと実質的に同じ。