並べ替え：新着順
EMアルゴリズムの#python による実装。 ①対数尤度の推移 ②更新後のパラメータによるGMMの可視化 ③学習後のGMMを使ってのデータ生成 #ゼロから作るdeeplearning ⑤ #生成モデル 編 #斎藤康樹 著 #オライリージャパン #expectationmaximizationalgorithm #kullbackleiblerdivergence pic.twitter.com/h0D5QRudjJ
EMアルゴリズムを学んだ。 KLダイバージェンスやラグランジュの未定乗数法などの数学的確な道具と、巧みな式変形で構築される、潜在変数を持つ確率モデルの最尤推定法。この章を読んで理解するのに10日かかった😅 まだ途中だけど、この章だけでも本書を買ってよかった。 #ゼロから作るdeeplearning ⑤ pic.twitter.com/728XVgT2dG
凸関数やEMアルゴリズムに関連する複合的な質問かと思いますので、まず背景知識を（厳密性なしに）ざっくり説明した上でご質問にお答えしたいと思います。 凸関数：二次関数のように膨らんでいて凹みのない関数で… (残り1857字) #mond_sammy_suyama mond.how/ja/topics/aplz…
次の宿題では線形混合効果モデルを（前回のnonlinear optimizationの代わりに）EMアルゴリズムで解きました tomoki-okuno.com/files/projects…
下記、気になっていたのだが、昨日買った本「ゼロから作るDeepLearning ５・生成モデル偏」に log-sum系の複雑な問題に対し 「EMアルゴリズムの導出」 にて 「KLダイバージェンス」からの 「ELBO」 が記述されており、付録にて 「イェンセンの不等式」 を用いた導出が記述されているのを見つけた。
Jensenの不等式関係はNMFの更新で補助関数法使うときに、亀岡さんの資料が分かりやすいなって思って一応ここら辺の理解はしたつもり hil.t.u-tokyo.ac.jp/~kameoka/aa/AA… 言語処理ででJebsenの不等式使うのって具体的に何に使うのだろうか？持橋さんが何か書いているというのは分かったので楽しみにしておきたい
返信先:@tatsushi_do_ob具体的には、EMアルゴリズムは更新した最新版の草稿chasen.org/~daiti-m/textm… だと250ページ、5.2.2節で説明しています。 NLPの高村本ですら、見直すとEMについてはQ関数を天下りに与えていて、99%の人は機械学習の教科書はたどらないので鵜呑みになっているのではないかと思いました。
返信先:@tatsushi_do_obEMアルゴリズムや変分ベイズ法、VAEの導出には必須ですね。K平均法はEMアルゴリズムなので、実際はほとんどの人に関係あるはずなのですが..。資料はさすが亀岡さんで、直感的にはこれでよいのですが、NLPの本にはまともな証明がないのが問題だという話でした。
今日はGMMをKLダイバージェンスとELBOに分解してEMアルゴリズムでパラメータ推定してた ラグランジュの未定乗数法で院試の記憶が……になってた笑 GANの論文だけど以下はKLダイバージェンスについて結構数学的にちゃんと書いてあった arxiv.org/abs/1701.07875
第17章の演習終了。 EMアルゴリズムの理解に苦労したが、以下の記事が参考になった。 変分下限を考え、パラメータを順に最適化していくと尤度方程式の解に近づいていくところが面白かった。 2週目に突入します。 #データ解析のための数理統計入門 qiita.com/kenmatsu4/item…
書き直しました。文字数ベースで3倍になった模様 4.3：トピックモデルの最尤推定(EMアルゴリズム)の導出【青トピックモデルのノート】 - からっぽのしょこ anarchive-beta.com/entry/2019/06/… #はてなブログ
書き直しました(4年ぶり3回目) 3.3：混合ユニグラムモデルの最尤推定(EMアルゴリズム)の導出【青トピックモデルのノート】 - からっぽのしょこ anarchive-beta.com/entry/2019/05/… #はてなブログ
スポーツ
ニュース
エンタメ
エンタメ
エンタメ
エンタメ
スポーツ
グルメ
アニメ・ゲーム
