FAOSTATは、#食料、#農業、#漁業、#林業、自然資源管理、#栄養 に関する世界で最も包括的な #統計 #データベース です。 ☑️ こちらから無料でご利用いただけます👉 fao.org/faostat/ ☑️ @FAOstatistics を是非フォローください❗️ pic.x.com/dl6snfpq9n

‘ おはようございます！！ 【難易度：★☆☆☆☆】 さて問題です。 これは何の支出でしょうか？ ＜選択肢＞ ① 牛肉 ② 豚肉 ③ 鶏肉 正解は本日17時にポストします。 今日も楽しい一日を！！ ★ファミマビジョンで出題中★ gate-one.co.jp/news/info/8326/ #統計 #クイズ #地理 #GIS pic.x.com/1zocfycwvt

amzn.to/3ew3J2v パターン認識と機械学習 上:ベイズ理論に基づいた統一的な視点から,機械学習とパターン認識の様々な理論や手法を解説。 #数学 #統計

#統計 負の二項分布関連 x.com/genkuroki/stat…

#統計 一般化 離散分布の確率質量関数P(x)と実数値関数R(x)からP値を pvalue(x) = Σ_{R(k)≤R(x)} P(k) によって定めることもできる。R(k)≤R(x)は「kがx以上に極端な値」を意味する。関数R(x)の決め方はケースバイケース。 負の二項分布モデルの場合にはここまで一般化しておいた方が良さそう。 x.com/genkuroki/stat…

#統計 以下のリンク先スレッドには「24回中7回表が出た」というデータの数値と「表の出る確率はpである」という仮説の相性の良さの程度を表すP値関数達のグラフがある。 x.com/genkuroki/stat…

#統計 関連スレッド 悪しき伝統芸の継承者達問題。 x.com/genkuroki/stat…

#統計 すみません。この投稿の1つ上の訂正も見て下さい。 まとめ * t検定の通常の説明ではモデル内の仮想的な母集団分布として正規分布を仮定する。(対応するベイズ版でも同様) * データを取得する現実の未知の母集団分布は正規分布である必要はない。しかし、t検定が機能するには条件が必要。 x.com/florets1/statu…

#統計 訂正 リンクを失敗したところを1つ削除したせいで、以下のリンク先の「そういう場合には」の「そういう場合」が書かれていた投稿が消えてしまいました。ごめんなさい。 「そういう場合」とは、諸々の仮定の現実での成立が怪しい場合やよく分からない場合のことです。 x.com/genkuroki/stat…

#統計 統計学教育では伝統的に数学的フィクションでしかないモデル内部での仮定(例えば正規分布)が現実においても成立している場合を暗黙のうちに想定して話を進めていたりします。所謂「小さな世界」での統計学です。 「小さな世界」の統計学は役に立たないので実践的には無視すれば良いと思います。 x.com/florets1/statu…

#統計 その条件はずっと上の方で述べたように、大雑把には * データを取得する未知の母集団分布のサイズnの標本の標本平均が従う分布は正規分布で十分近似されている。 * 同標本の不偏分散は母分散をよく近似している。 になります。 x.com/florets1/statu…

#統計 ちなみに、1標本t検定の方法を使って得た母平均の信頼区間と、μとlog σ²に関する正規分布モデルのベイズ統計から得た信用区間は誤差無しに数学的にぴったり等しくなります。 1標本t検定に対応するベイズ統計の現実への適用可能性は1標本t検定と全く同じであるべきです。続く x.com/florets1/statu…

#統計 P値関数はベイズ統計での事後分布とほぼ同じ使われ方をする道具で、実際それら2つの方法で得られた結果は近似的に一致する場合が多数あります。 逆にベイズ統計での事後分布の使用時にはP値に関する注意がすべてそのまま適用される。続く x.com/florets1/statu…

#統計 特定の単独のμの値に関するP値が5%未満かどうかで安易な2値的判断を下すことはP値の誤用になります。 豊田秀樹さんに代表される困った人達はP値を誤用することをP値の標準的使用法だとみなして、P値の使用を不当に攻撃しているのできちんと否定して行く必要があります。 この辺、危なそう。 x.com/florets1/statu…

#統計 P値関数の使い方はベイズ統計での事後分布と同じです。 モデルが妥当でかつデータの数値の取得法も適切ならば、P値関数のグラフを見ることによって、「母平均はμである」という仮説の現実との整合性をP値関数の値で測ることができます。(警告: 実際にはそう単純ではない場合がある。) x.com/florets1/statu…

#統計 P値関数は、P値の計算に使ったモデルの仮定の下での、データの数値と「母平均はμである」という仮説達の相性の良さの様子を表すと解釈されます。 この解釈は、データの数値の取得の仕方が不適切でも、モデルの仮定が現実には妥当でなくても有効です。続く x.com/florets1/statu…

#統計 データの数値(標本の数値)が与えられたとき、1標本t検定のP値は具体的な数値μに関する「母平均はμである」という検定仮説ごとに決まるので、P値は数値μの関数になります。 これをデータの数値から決まるP値関数と呼びます。続く x.com/florets1/statu…

#統計 中心極限定理やら大数の法則による近似の仮定が実際に成立しているかは、ある程度分かる場合もあるし、ほとんど分からない場合もあります。 分からない場合には、1標本t検定の結果は信用し切るべきではない結果になります。続き x.com/florets1/statu…

#統計 そういう場合には「本当のことはよくわからないこと」を受け入れて、誤差が大きい可能性が高いこと断った上で、参考情報として、結果を提示すれば良いと思います。 続く x.com/florets1/statu…

#統計 自由度が20未満のt分布と標準正規分布は結構違います。その場合のt分布の使用は保守的な(P値を大きめにする)補正の役目を果たすことになります。 その補正は、未知の母集団分布が正規分布でなくても、そこそこ正規分布に近ければ結構うまく働きます。続く x.com/florets1/statu…

#統計 そのとき、 T = (標本平均 - 母平均)/√(不偏分散/n) は近似的に標準正規分布に従います。 自由度が大きめのt分布は標準正規分布でよく近似されます。 だからこの場合には1標本t検定は近似的にうまく行きます！続く x.com/florets1/statu…

#統計 さらに、データを取得する未知の母集団分布からのサイズnの標本の不偏分散は、未知の母集団分布の分散(母分散)を十分近似していると仮定します。(大数の法則よりnを十分条件大きくすればそうなる。) 続く x.com/florets1/statu…

#統計 データを取得する未知の母集団分布からのサイズnの標本の標本平均が従う分布が正規分布で十分近似されていると仮定します。(未知の母集団分布ごとにnを十分大きくすれば実際にそうなるというのが中心極限定理の主張です。) 続く x.com/florets1/statu…

#統計 実際にデータを取得する母集団の分布が正規分布から外れている場合には、モデル内では成立している正規母集団の仮定が現実には成立していない場合になります。 そういう場合であっても、中心極限定理によって結構多くの場合に、母平均に関する1標本t検定がうまく行きます。続く x.com/florets1/statu…

#統計 簡単のために1標本t検定を考えましょう。 1標本t検定では、数学的フィクションであるモデル内の母集団分布として正規分布を仮定します。 しかし、データを取得する現実の母集団の分布は正規分布だとは仮定しません。 モデル内の仮想的な母集団と現実の母集団を完全に区別する必要がある。続く pic.x.com/g4o7zaaj7h x.com/florets1/statu…

統計学に関する相談がしたいので、統計学に強い人、連絡ください。聞いてみて、「この内容だったら無料じゃ無理」という場合、見積もりをください。 #ゆる募 #統計 #品質管理 #疫学

統計学の矛盾。 統計方法、分母数が全く異なるのにグラフでの比較に意味は無い。 #統計 #生涯未婚率 #結婚 #矛盾 x.com/gatigatitv/sta…

#統計 ところが"post p<0.05 era" (amstat.org/asa/files/pdfs…)と書いてあるのに「ポストP値時代」と書いてあると誤解しているがごとくの極めて有害な宣伝活動を行うことによって、負の貢献をしている学者がいる。そしてそういう学者による悪質な印象操作を再拡散する人達がいる。 結構大問題だと思う。 pic.x.com/8mhmmylzdj

#統計 「違いは数値aである」の型の検定仮説のP値をaの関数としてプロットして見せる教育を受けていれば、P値関数とベイズ統計の事後分布はほぼ同じ使い方をする道具なので、ベイズ統計への発展もスムーズになります。 P値について学んだことがそのままベイズでも通用するようになる。

#統計 P値についての教育を主に「違いがない」の型のゼロ仮説単体のP値に限定してかつ「統計的有意性」という有害な考え方を中心に行うと、統計モデリングやベイズ統計に接続困難になります。 あの悪しきフローチャート統計学に流れ易くなってしまう。続く

#統計 ベイズ統計について例で説明するときには必ず事後分布のグラフを見せます。 P値について例で説明するときにも同様のことをするべきです。事後分布の代わりにP値関数のグラフを描いて見せるべき。 ベイズとのフェアな比較も全部P値関数に変換すれば可能になります。

#統計 #Julia言語 事後分布からP値関数を得る方法も複数あって、 nbviewer.org/github/genkuro… では片側確率の2倍版を採用しています。 添付画像を見れば分かるように、非ベイズの異なるP値関数の間の違いよりも、ベイズと非ベイズのP値関数の違いの方が小さくなることがあります(スコアとベイズ)。 pic.x.com/utyjk13awd

#統計 P値=4%とP値=6%の違いを本質的な違いだと誤解しているような人でない限り、以上で紹介したP値関数達はどれも同じ傾向を示しており、ベイズの場合も含めて形も結構一致していることを受け入れると思う。 複数のP値とベイズの関係は地道に計算しないとわかりません。 nbviewer.org/github/genkuro… pic.x.com/azbm22b4zd

#統計 せっかくなので、スコア法のP値関数と、ベイズ統計での事後分布から作ったP値関数の比較も行ってみました。 この場合にはほぼ一致しています。 こういうグラフを描けば、数値的にhs。ベイズと非ベイズは大して違わないことを沢山の場合に確認できます。 nbviewer.org/github/genkuro… pic.x.com/lqxiwd2n9t

#統計 #Julia言語 負の二項分布で確率を正確に計算する方法(片側確率の2倍)で得たP値関数とスコア法(二項分布と負の二項分布で結果は同じ)のP値関数の比較。 nbviewer.org/github/genkuro… pic.x.com/mvh5euphxi

#統計 #Julia言語 二項分布での確率を正確に計算して得た(Clopper-Pearsonの信頼区間を与える)P値関数と、スコア法の(二項分布の正規分布近似による)P値関数の比較。 前者が保守的(大きめの値)。しかし、形は似ている。 nbviewer.org/github/genkuro… pic.x.com/jazw0vdzwv

#統計 #Julia言語 二項分布と負の二項分布での確率を正確に計算する方法で得たP値関数達(計算量を減らすために片側確率の2倍で構成(手抜き))の比較。 二項分布側の確率を正確に計算する方法で得たP値関数の右側での値が大きめになっていますが、形がかなり似ている。続く nbviewer.org/github/genkuro… pic.x.com/buwo61univ

#統計 それでは、二項分布と負の二項分布での確率を正確に計算する方法で得た互いに異なるP値達と、それら共通のスコア検定のP値がどれだけ違うのか？ 違いの視覚化はP値関数をプロットすれば得られます。続く github.com/genkuroki/publ…

#統計 余談 外れ値を扱う練習問題として inference.org.uk/itprnn/book.pd… にあるSeven Scientistsの問題は有名(添付画像)。 私の解答例(外れ値を含む統計モデルを適当に作る)は nbviewer.org/gist/genkuroki… nbviewer.org/gist/genkuroki… にある。外れ値問題には統計モデリングで解決するという選択肢もある。 pic.x.com/1l3teghqs4

#統計 手法が前提としている仮定からの逸脱への脆弱性を機にするならば、Mann-WhitneyのU検定のような方法の脆弱性にも気を使うべきです。 MWのU検定は脆弱で危険な検定法なのに残念ながら普及してしまった。 MWのU検定の代替となるより頑健な検定法にBrunner-Munzel検定があります。 x.com/kou_nohe/statu…