・並列処理が可能で、計算効率が高い ・構造化状態空間モデル（S4）が入力に依存しないため、動的な推論に対応できない欠点に対処するため、Selection MechanismとGPUのメモリ構造を意識したアルゴリズムを採用 qiita.com/peony_snow/ite…

・パラメータ数2.8B以上の場合においてMambaは機能するのか、ハイパーパラメータのチューニング方法はTransformerなどと同じなのか、学習の不安定性はどうなのかといった点に関してはまだ不明 ・高次における計算量の増大に対処したHIPPO行列を利用した構造化状態空間モデル(S4)

Manba ・AttentionやMLPBlockを持たない選択的状態空間モデル（Selective SSM：Selective State Space Model） ・高速な推論（Transformerの約5倍）を可能にするとともに、シーケンス長（トークン数などのこと）の増大に対して、推論コストが線形に増大する

状態空間モデルでええやんになりそう

だいたいなんでも制御で語れるし、最近の大規模言語モデルでも状態空間モデルを用いたものもあるそうですし。

【無料教材！！】状態空間モデルについてざっくりわかる資料です！主に時系列データを扱う場合に使われ、柔軟なモデリングが可能ですが、使い道や線形モデルとの違いなど、理解が曖昧になりがちです。 理論少なめで実務視点から語られており、今日から使えます💪 slideshare.net/horihorio/toky… pic.twitter.com/taMTt5iy5U

よくないところ: Gitでバージョン管理できない．統計は経済畑のライトユーザーのニーズに合わない．状態空間モデルもあるけどQuantEconのがより柔軟，素朴なTWFE回すだけならfixestでいい，など．関数を自作すれば困らない部分もあるけど．

【状態空間モデル】カルマンフィルタを Pythonで実装してみた avelio.co.jp/math/wordpress…

mondで匿名メッセージ・質問を募集しています。何でも送ってね！ #mondで問答 こんな質問に回答しています ・大規模(言語)モデル一強な現在において、ベイ… ・ベイズ統計学が研究できるのは「相関関係」だけ… ・状態空間モデルのベイズ推定にはHMC（という… mond.how/ja/sammy_suyama

（線形）状態空間モデルでも行列を工夫しないと普通に勾配消失問題起こるんじゃなかったっけ。なんかの文章で「結局同じ行列を繰り返しかけることになるので〜」みたいな記述でそうかと思った気がするけどなんだったか思い出せないな。なので、RNNに対する利点としてそこを挙げるのはそうなのか？

東大が無料公開している時系列分析の講義(全13回) ocwx.ocw.u-tokyo.ac.jp/course_11416/ カルマンフィルタやパーティクルフィルタも学べる。 講義資料、Rコードのダウンロード可能。 ・ARMAモデル ・ARモデルの推定 ・局所定常ARモデル ・状態空間モデル ・分散非定常モデル ・時変係数ARモデル… pic.twitter.com/9BENQfwRg3

・Self-Attentionに依存しない学習方法（アーキテクチャ) - Attention Free Transformer (AFT) > 学習済みの位置バイアスを利用して、KとVの加重平均を計算し、Qを要素ごとに掛け算することにより、行列計算を不要にする - S4 > 状態空間モデルにもとづき、長距離依存を捉える

はてなブログに投稿しました #はてなブログ Mambaの周辺知識(2) Parallel Scanの逆伝播・状態空間モデルの離散化 - 水たまり tokumini.hatenablog.com/entry/2024/04/…

状態空間モデル見てるとめちゃくちゃワクワクする。

GW初日はこれ。 ランダム切片、ランダム係数、状態空間モデルのPythonへの置き換えを試みる。 まとまったら記事にする😊 pic.twitter.com/46cCz8RVfR

因果推論・探索の基礎調査の後 その後ビジネス適用を検討するが 本命：MMMとその周辺 対抗：反実仮想機械学習 穴　：部分識別 大穴：状態空間モデルとCausal Impact かなぁベイジアンネットワークなんて頭がいい人でも結果出てないし、LiNGAMも動かすだけならともかく いや上記本命ー大穴もむずい

うおおお GWで状態空間モデルを学ぶ という宣言

状態空間モデルに出てくる微分方程式もかなり基礎的なやつなのかなと思っているんだけど全然ピンとは来ていない

階層ベイズを学んだはいいけど、実際の課題に対して階層ベイズを自分で構想可能かと言われると、そんな事は全然なさそうなんだよね 同じ問題で状態空間モデルに関しても、古典的時系列モデルよりも、適切なモデルを作成可能かと言われるとね 全ての問題は、事前情報から適切な階層を構想出来るかてね

機械学習・線形重回帰を使いたかったのですが、 変数Aの経時変化を把握するため、機械学習モデル用に特徴量生成するのが面倒だったのと・・・ データ数が100件程度だったので、面倒ですが、ベイズを選択😅 まずは、シンプルに、状態空間モデルではなく、年毎にランダム切片を設定してベイズ重回帰。

出張先の別のお客さんで・・・ 「以前と比べて、変数Aの効果が悪くなっていると感じる」みたいな事を言うので・・・ その場で、データをもらって、少し分析してみました🤔 結果的には、ベイズ・状態空間モデル(時変係数モデル)を使いました。 ↓

あ、みどりぼん内では状態空間モデル扱ってないのか

久保拓弥(2012)『データ解析のための統計モデリング入門』の次のトピックの書として『はじめての統計的因果推論』を書いたのだが、MMMで状態空間モデルにまた戻ってくるのね感

一番興味あるのが時系列分析だったから「時系列分析やりたいかもー」が最初のモチベーションとしてあって、SARIMAなりをやってから状態空間モデルに辿り着き、こりゃ便利だなということでベイズをやるようになったという流れだったはずなので、みんなどこからベイズに入るんだろうという不思議はある

【StanとRでベイズ統計モデリングをPyMC Ver.5で写経】 写経シリーズ新記事です！ 第12章「練習問題」 時系列データのシミュレーションと状態空間モデルの問題に取り組みました。 シリーズ最終記事です。 ご清聴ありがとうございました☺️ #のんびり統計 #PyMC #ベイズ note.com/e_dao/n/n9b551…

現代制御の内容を思い出したくて購入しました。 　本書は、現代制御と呼ばれる状態空間モデルに基づく制御理...『はじめての現代制御理論 改訂第2版 (KS理...』佐藤 和也 ☆4 booklog.jp/users/ngskshie…

自分は時系列解析(状態空間モデル、鷹本？)→Stanで実装するためにアヒル本→WAICの解説求めて渡辺ベイズ統計→基礎を押さえるために標準ベイズ統計学 と応用から逆走していった感じか ユーザー側だと逆走になりがちなのかな

Image Creatorが描いた「人生の本」 集める ブログ「のんびり統計」で灯す 記事「⑫状態空間モデルとベイズ決定」をPyMC5で 【URL】note.com/e_dao/n/nd1fec… 名著アヒル本の松浦健太郎先生のシリーズ！ ベイズと最適化を組み合わせた推論が面白いです。 #ImageCreator #のんびり統計 #ベイズ pic.twitter.com/S8i1zfFo5l

カルマンフィルターも状態空間モデルなんや 現場で軽く教わったわ これ勉強すれば趣味と仕事でも使える！ 一石二鳥のお得な勉強してる

Mamba勉強しとるが やっぱり文章苦手やな飽きた 状態空間モデルが１次元の畳み込みとして表現 できるとこまでわかって HIPPO行列でて？？？となった とりあえず便利な行列とわかった

やはり、製造業とベイズモデリング(データ活用)は、非常に相性が良いですな🤔 今日の出張先さんの製品で・・・ 消耗品の消耗具合と、エラー発生数の分析を、 ベイズ(状態空間モデルとランダム効果)を使って実施したのですが・・・ 色んな示唆が得られて、議論が盛り上がった😆💪 #ベイズ

Image Creatorが描いた「人生の本」 深く ブログ「のんびり統計」でひと呼吸 記事「⑫状態空間モデルとベイズ決定」をPyMC5で 【URL】note.com/e_dao/n/nd1fec… 名著アヒル本の松浦健太郎先生のシリーズ！ 時系列データの状態空間モデルと最適化の実践です。 #ImageCreator #のんびり統計 #ベイズ pic.twitter.com/M5xeOh5igY

【実験！岩波データサイエンス1をPyMC Ver.5で】 新記事です！ 「⑫状態空間モデルとベイズ決定」 名著アヒル本の松浦健太郎先生のシリーズ！ 時系列データの状態空間モデルで、最適発注量の予測に挑戦です！ #のんびり統計 #PyMC #ベイズ note.com/e_dao/n/nd1fec…

arxiv.org/abs/2404.08801 Transformersの2次関数的な複雑さと弱い長さの外挿は、長いシーケンスに拡張する能力を制限し、線形注意や状態空間モデルのようなサブ2次関数的なソリューションが存在する一方で、それらは経験的に、事前訓練の効率と下流タスクの精度でTransformersを下回る。コ... pic.twitter.com/41u7hNtq70

【StanとRでベイズ統計モデリングをPyMC Ver.5で写経】 写経シリーズ新記事です！ 第12章「12.7 ２次元の空間構造」 ２次元空間データの状態空間モデルです。 ２次元データは不得意でして、いつもうまくいきません... アドバイスをください！ #のんびり統計 #PyMC #ベイズ note.com/e_dao/n/n4ff93…

【StanとRでベイズ統計モデリングをPyMC Ver.5で写経】 写経シリーズ新記事です！ 第12章「12.6 １次元の空間構造」 状態空間モデルで「空間データ」に取り組みます。 PyMCのICARやARを用いて４つのモデルを作成しました。 #のんびり統計 #PyMC #ベイズ note.com/e_dao/n/n750f7…

【StanとRでベイズ統計モデリングをPyMC Ver.5で写経】 写経シリーズ新記事です！ 第12章「12.3 変化点検出」 状態空間モデルで時系列データの複雑な変化点を推論します。 適切なPyMC実装方法を見つけれず、中途半端になってしまいました… #のんびり統計 #PyMC #ベイズ note.com/e_dao/n/n2d942…

状態空間モデルのmambaが来てるとは言え、ドワンゴがやってた競馬AIのmambaが先に思い浮かんでしまう

【制御工学の総まとめ，チャプター付】現代制御・状態方程式に基づく制御の総集編【状態空間モデル・最適レギュレータ・オブザーバ・極配置・可制御】 youtu.be/_b4JMCD65Y8?si… @YouTubeより