そしてsparse autoencoderが見つける特徴のうち人間或いはAIが"説明"出来るものであれば、言い換えれば言語化、或いは視覚表示化や音声化が可能だということ。つまりその特徴自体もgptに入力出来るんじゃないかなって。更にその特徴を説明するという行為も学習出来たらすんごいけど。人の知性の終焉。

単純に「果物」という概念をそこに与えたり逆に結果から引っ張りだしたりすることは簡単ではないはず。sparse autoencoderの方が寧ろ、この「果物」に相当する特徴を見つけ出す技術の筈。まだ完成は遠いらしいけど。

ここちょっと僕も混乱したんだけど、attentionとsparse autoencoderはどちらも物事の関係性や抽象概念をAIに紐づけるものに思えるけど、違いをはっきりさせないと駄目だと思う。

そこに到達するまではまだ課題が多そうだけど、さしあたってのsparse autoencoderの応用としては学習データのノイズ除去や安全性担保に使いたい様なので、このまま行くと歴史上初の専門家AIは「戦争博士」と「犯罪博士」と「エロ博士」になるのかもしれない。すごく嫌だ。

sparse autoencoderについて考えると、各「特徴」を抽出してそれに特化した学習をし、その「特徴」をまた言語空間に埋め込んで(埋め込みベクトルを学習して)その上で「特徴」の「特徴」を学習し、何回か繰り返して近い特徴同士をまとめあげると、「分野」の専門家AIが生まれるんじゃないだろうか。

PAC保証付き"潜在"ポリシーをトレーニング - 特徴: sparse rewardsを乗り越え、低レベルポリシーの再利用を可能にし、モデル情報の蒸留ステップを回避 - 案件: 移動する障害物の中をエージェントがナビゲーションする場面で実行可能性を示す #AI

sparse tableを知っていますか? 僕は知りません

本日、OpenAIが発表した論文の「記事・論文解説」GPTsによる解説 chatgpt.com/g/g-5DoGfV0xp-… **論文タイトル:** Scaling and evaluating sparse autoencoders **概要:**…

さっき発表されたOpenAIの論文(gptに手伝ってもらいながら)少し読んで、sparse autoencoderについて知った。各概念(人間が理解して言語化されているもの/いないもの問わず)に対して、脳に例えるなら対応する細胞の活性化パターンを見つけ出すことが出来る...みたいな感じなのかな。

[,,] みたいな配列定義、sparse array（まばらな配列）っていうのな。知らなかったぜ。使うことは無いと思うけど！

返信先:@blackcatyumaとてもわかりやすい解説ありがとうございました。Immersalはあんまり使っていなかったので参考になりました！ Send Mapsもはじめて試してみました笑、これって元にglbデータとかあってもsparse以外はコピーされないんですね

Lasso回帰についての疑問 もしTrue ModelがSparseではないときで パラメーターの数がサンプル数より多かったら、それは サンプル数が少ないだけだからLasso回帰じゃない方が良いよね？ #統計学

クエリO(1)の威力は凄い…が、Sparse Tableさんメモリバカ食いじゃないか…ダブリングの比ではない （Sparse TableがというよりEuler Tourがヤバいんだと思うけど）

今回も多くの方にお集まり頂きありがとうございました！かた湯さんより「Understanding MLP-Mixer as a Wide and Sparse MLP」のLTをして頂きました！ 次回6/12。雑談会の予定です！ #ML集会 #VRChat pic.twitter.com/Qsf2Ofy25s

Sparse Table実装軽い～って思っていたら案の定バグ埋め込んで真顔

Sparse TableってクエリO(1)だったのか…てっきりダブリングと同じ要領でO(logN)にするのかと思っていた

返信先:@g_plainsホンマにその実体サイズなのかなぁ。 sparse fileとかオーバーコミットとか、実ブロック以上の見せかけだけならいいけど… あとこのファイルサイズ、ext4では無理だよな？XFSとかかな？

【本日21時半開催！】 今日のML集会はかた湯さんより「Understanding MLP-Mixer as a Wide and Sparse MLP」のLTが開催されます。みなさんぜひお気軽にお越しください！ #ML集会 #VRChat

ランスフォーマーや代替手法が提案されているが、これらが標準のトランスフォーマーと置き換え可能であるかの理論的保証が不足している。 - 本研究では、Sparse TransformerとLinear Transformerという効率的なトランスフォーマーの能力や #AI

データ可視化 data visualization データ操作 data manipulation データ処理 data processing データ整形 data formatting データ保護 data protection 疎なデータ sparse data 密なデータ dense data

ランスフォーマーや代替手法が提案されているが、これらが標準のトランスフォーマーと置き換え可能であるかの理論的保証が不足している。 - 本研究では、Sparse TransformerとLinear Transformerという効率的なトランスフォーマーの能力や #AI

「Understanding MLP-Mixer as a Wide and Sparse MLP」の論文はこちら arxiv.org/abs/2306.01470

#ML集会 今週の6/5も21時半より開催致します。今週はかた湯さんより「Understanding MLP-Mixer as a Wide and Sparse MLP」のLTがあります。

#普通话等级 #英语四六级 美女不尚铅华，似疏梅之映淡月；Beautiful women do not yet admire beauty, like the reflection of sparse plum blossoms on the pale moon; pic.twitter.com/rPK9VA9LnH

ライブラリ盆栽、やればやるだけ成果が出てしまうので過度に熱中してるかも。Sparse inv pic.twitter.com/dyH6ygUu33

今回も多くの方にお集まり頂きありがとうございました！しいたけさんより「SSDを用いたずんだもん検出器の作成」のLTをして頂きました！ 次回6/5。かた湯さんより「Understanding MLP-Mixer as a Wide and Sparse MLP」のLTが行われる予定です！ #ML集会 #VRChat pic.twitter.com/GQeh41or4L

え、Sparse Pyro のデフォルトのWindってvelフィールドの値はAdvectされないの？？久々に無駄にめっちゃハマったんだけど🤯 #Houdini

地域社会（非・大都市）持つ価値は、関係人口、DX、異なる視点（異人）、「開放 （open）×疎（sparse）」 に向かうかなり強いトレンドの活用によって高まると、安宅和人さん、落合陽一さんが言われてます。まさにそれを加速するのがDAO。 出典：群馬から世界に発信する 「ニューノーマル」 ～… pic.twitter.com/JlFOlaM4cm

これ f(x + x⁻¹) として管理すると和と積がそのまま多項式の和と積になって、2 が環上で乗法逆元を持つ必要もないんだけど、元の列が sparse でも f が sparse になるとは限らないから使えなそうだった

#111論文等共有 1374 openreview.net/forum?id=PAfnM… [ICLR'24] 最小限の数の pixel perturbation で騙す sparse adversarial attacks において、query に対するモデルの confidence scores だけが分かる設定において計算効率の良いアルゴリズムを提案。Query履歴を利用し組合せ爆発する計算量に対処。SOTA。 pic.twitter.com/VUt9B5P3Hg

どう変わるのかなぁ〜🧐🌟“So far there isn’t much to go on and rumors about the Nothing Phone (3) are sparse. However, we hope Nothing is working to improve the cameras and durability of the device compared to the prior models while keeping the price relatively low. “ ◼︎Nothing… pic.twitter.com/jueyIxpft8

どう変わるのかなぁ〜🧐🌟“So far there isn’t much to go on and rumors about the Nothing Phone (3) are sparse. However, we hope Nothing is working to improve the cameras and durability of the device compared to the prior models while keeping the price relatively low. “ ◼︎Nothing…

[1]の詳細論文は具体的に再現可能な形では書かれていない（手法がSparse Autoencoderを使ったこと等は書かれいているが）ので一部の同じ著者が書いた[2]が理解するうえではわかりやすい。（特に下の図が理解するのに有用） [2] arxiv.org/pdf/2309.08600 pic.twitter.com/4Z0G1e1UPc

MIRU2024 の Oral（採択率31%👀）に "Adaptive Block Sparse Regularization under Arbitrary Linear Transform" が採択されました！

⑧LLM-Traders : 大規模言語モデルを用いた金融時系列予測 ⑨大規模言語モデルによる事業概要を考慮した金融テキストの推論ベース極性分析 ⑩SBLM: Spike and Slab 事前分布を用いた Sparse Black Litterman Model

"But the work has really just begun."（「お楽しみはこれからだ」）。"towards monosemanticity"とか"sparse autoencoder"とか”Inner conflict”とか、翻訳してもよくわかんない。とにかくニューロンで意味論らしい（「意味論」もわかんねーよ）。

⑧LLM-Traders : 大規模言語モデルを用いた金融時系列予測 ⑨大規模言語モデルによる事業概要を考慮した金融テキストの推論ベース極性分析 ⑩SBLM: Spike and Slab 事前分布を用いた Sparse Black Litterman Model

LLMは各ニューロンが概念に対応せず、重ね合わせ（過完備）もあるため解析や操作が難しい。LLMの残差パス上でSparse AutoEncoderを学習させると、辞書で一般名、人名、現象（プログラムエラー、偏見）等の概念を個別に抽出でき、操作もできる。多くの興味深い実験が書かれる transformer-circuits.pub/2024/scaling-m…

業務でsparse-checkoutというものを教えて貰ったもののバージョンの関係で使用できない可能性出てきた。 便利そうだし、今やりたいことをやるにあてハマるのに… git-scm.com/docs/git-spars…