生成AIは近年学習に関しての無断二次利用等色々問題になっているから法律でクリーン化を行うのは必要だとも思う。今の法律では違法ではないからねー（本当に違法なら表にでてきた瞬間捕まるもの）しかし、拡散モデルの技術自体は素晴らしく、こいつ自身は可能性の獣だ！！つまりクリーン化はよしろ

拡散モデルの逆拡散って熱力学第二法則に反してる感じがして気持ち悪いです

こちらがAlphaFold3の論文です。Nature。いわゆる拡散モデルによってタンパク質やそのほかの分子の相互作用を推定、生成することで解析できるというのが売りのようだ。例えば核酸とタンパクの相互作用、リガンドと受容体の相互作用の構造推定がずっと正確らしい。 nature.com/articles/s4158…

SSII2024 [SS1] 拡散モデルの今　〜 2024年の研究動向 〜 (画像センシングシンポジウム) speakerdeck.com/ssii/ssii2024-…

いまの拡散モデルの仕組み上、例の条文がなくても複製と言い張るのは難しいと思うんだけど専門家とかから見るとどうなんだろう。

SSII2024 [SS1] 拡散モデルの今　〜 2024年の研究動向 〜 dlvr.it/T8F8b0

拡散モデル調べてるけど私の理解力足りなすぎてわからんwww拡散過程は計算式だから確率グラフィカルで、逆拡散過程での逆予測時にニューラルネットワークが使用されてるの？プロンプトの入力時にCLIPエンコーダ？ガウス分布だって。ぼかしフィルターかけて不透明度25%。調べ物せずに絵を描きたいたすけ

LLMと拡散モデルはTransformerが生み出した、いわば計算の結晶みたいなもんだと思うよ

"Hugging FaceのDiffusersライブラリは、画像や音声、分子構造の生成に特化した最先端の事前訓練済み拡散モデルを提供します。"(AI生成文)github.com/huggingface/di…

この資料よかったです。 VAE,GAN,Flowベースモデル,拡散モデルについての理論が分かりやすく説明されていました！！ speakerdeck.com/takahashihiros…

拡散モデルも初期の理論からだいぶ近似というかいい加減なやり方でもいける方法が色々出てきているんだなぁとか

(　˙꒳​˙ )野暮なツッコミかもしれないですけどSDは潜在拡散モデルでT2Iの量が多く、T2TやI2Tのように自然言語の推論・計算を主体としないのでLLMとは言えないです(近年のLLMの主軸であるTransformersを確かに利用しているが)

ざっくりとした感想としては、日本で裁判になった場合、拡散モデルはLLMよりも、出力の著作権侵害について、脆弱だと思う。

拡散モデルに新しい条件を加えるときにTransformerベースのアーキテクチャでもControlNetを使えないかなと思ったらあった． pixart-alpha.github.io

本日の #SSII2024 技術動向解説セッションにて、拡散モデルについて解説してきました！ご聴講頂いた皆さま、ありがとうございました！ スライドはこちらから見られるようです。 少しでも拡散モデルを知るきっかけとなれば幸いでございます！ speakerdeck.com/ssii/ssii2024-…

画像生成で「プロンプト条件付け」を担当する「CLIP」への意識がいかなくなったのは、初期のPFN岡野原氏の「拡散モデルのみ深掘りした偏った技術解説」の影響が大きいと思います。 Text-to-imgなのに、拡散生成モデルの部分の話だけ行い、「CLIP Text-Encoderでの条件付け」が実質無視されていたので

今日は、岡野原さんの「拡散モデル データ生成技術の数理」の第1章を読んだよ。おもしろい💖 でも長い間、数学から離れてたので復習しながら！（久々に∇見た） 丁寧な式展開と説明デス🙏 pic.twitter.com/H8yYLtsht0

最適輸送と拡散モデルが数学的に等価な話を調べます

#ごちきか で、Diffusion Model（拡散モデル）のレビュー論文「Understanding Diffusion Models: A Unified Perspective」についてチームメンバーが解説したスライド資料を公開してます！ gochikika.ntt.com/Slides/underst… pic.twitter.com/XAYSND3oHp

score じゃなくて concrete score を使って離散拡散モデルでテキスト生成する君 #SSII2024 [2310.16834] Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution arxiv.org/abs/2310.16834

技術動向解説セッション1が始まりました。 Makoto Shing 氏（Sakana AI株式会社）​ 「拡散モデルの今　〜2024年の研究動向〜​」 #SSII #SSII2024 pic.twitter.com/bzfu9pnVV3

拡散モデル以降は生成モデルのフレームワーク単体が性能上がった感じあんまりしない気がする

見ています（このチャンネル、見たことある拡散モデルのめっちゃ専門的な解説動画たちを投稿していたチャンネルだった） [AI論文解説] SAN: 識別器を再構成してあらゆるGANの性能をアップ！ICLR採択論文を解説 | Sony's Research Minds youtu.be/IvoGRvqyD8k?si… via @YouTube

[JA] Finding: 時系列データ生成におけるトランスフォーマーを用いた研究は多岐にわたっており、まだ決定的な答えには至っていない。GAN、拡散モデル、状態空間モデル、オートエンコーダーなどの手法がトランスフォーマーと共に用いられている。決定的な知見を得るには至らなかったが、いくつかのベ...

生成モデル(拡散モデル、VAE周り)を微力ながら担当させて頂きました。 ホットな分野だけに抜けてしまっている論文もあると思います（🙇‍♀️）ので、コッソリ教えていただけたらありがたいです。 special thanks to @mi141

近年のアカデミア界隈、拡散モデルもアテンションも分からないやつは学部1年生からやり直せ、みたいなところあるな（分からないから辛い）

自己教師あり学習と拡散モデルの違いを聞かれて「確かになんだ⁉️」となった。

この数のデータで"ギリギリ"拡散モデルバックボーンの高画質なT2Iモデルをスクラッチ学習できるっていう話、額面上だとふ～んって感じだったんだけど、実際ローカルに落として眺めるとかなり迫力ある

4Real 映像拡散モデルによる写真のようにリアルな4Dシーンの生成 3D生成モデルから、実世界データセットで訓練された映像生成モデルを利用。これによって、質の高いダイナミックなシーンを実現。 pic.twitter.com/OxDh83NjpN

Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation Llama2ベース,トークン化の変更,学習データの見直しにより一般的な拡散モデルを超える画像生成を自己回帰モデルで実現 拡散モデルの不要な画像生成はテキストと画像を扱うモデルを作る上で重要 arxiv.org/pdf/2406.06525

【拡散モデルがロボットのシミュレータに グーグルなど開発、学習データ生成や強化学習に 】 米OpenAI（オープンAI）の「Sora」などで大きな注目を集める動画生成技術「拡散モデル（dif... xtech.nikkei.com/atcl/nxt/mag/r… 注目の #AI 最新情報は👇 enjigraph.com/search?q=AI

【LlamaGen】 拡散モデルではなくGPTのように次のトークンを予測する方法で画像生成する新しい手法 vllmなどLLMで培われた技術も相まって高速推論が可能とのこと T2Iモデルは7月に公開っぽいけど面白そうだな github.com/FoundationVisi… pic.twitter.com/WcItylGX6N

↓の権利侵害を認知できない “基盤モデル：大規模言語モデル、拡散モデルなど、大量のデータで事前に訓練しておくことによって、幅広いタスクに適用させることが可能な深層学習モデル。テキスト、画像、3D、センサー入力など様々な種類のデータが扱えるものはマルチモーダル基盤モデルと呼ばれる。”

本日からのSSII 2024にて30周年記念特別講演を担当させて頂きます。最終日14日(金)の夕方、いらっしゃる方はよろしくお願いします。Sakana AIからは私に加え @mk1stats も技術動向解説セッションで拡散モデルの話をします。

スコア蒸留サンプリング自体は『拡散モデルでスコアが推定できる』ということに強く依存してるので、そのままの形で拡散モデル以外を使うのは難しいと思うけど、うまい拡張を考えるのは面白そうだな～

拡散モデルを上回るTransformerによる画像生成 ⚪github.com/FoundationVisi…

コードとかいう負債を生み出さないために Dify使ってみよっかな あと、拡散モデル側だけど、comfyuiも触ってみたいと思ってる

最新のニューラルネットワーク・アーキテクチャと、基礎モデルと拡散モデルの探求を特集した、コンピュータ・ビジョンの決定版 Modern Computer Vision with PyTorch - Second Edition learning.oreilly.com/library/view/-… via @OReillyMedia #programming #プログラミング #pytorch

今の画像生成AIは拡散モデルを前提に動いてるから正規分布に弱すぎるってのもありそう かと言って現状出されてる普通のモデルたちはあそこまで強くなさそうだし地味な対策しかなさそう(日常で正規分布すぎる画像が出ることもなさそうだし対策って概念がないのかもしれぬ)