昨日の #WBS … #生成AI 搭載 新型 #iphone 発表 #大日本印刷 異業種の書店支援 国産生成AI #GENIAC 開発進む

ジーニャック？猫の展示会じゃないのか…？ #GENIAC

GENIAC最終報告行きたかった… 本件に関わった皆様、お疲れ様でした！#GENIAC

Turing さんから VLM の学習を簡単かつ効率的に行うために設計された vlm-recipes が公開されたそうです👏 #GENIAC における成果物の一つで、大規模な GPU クラスタでの分散学習をサポートしているそう。 ありがたい🙌 github.com/turingmotors/v… x.com/onely7_deep/st…

Turing から #GENIAC における複数の成果物が公開されました！ その中でも、@okoge_kaz さんの llm-recipes の姉妹版である、vlm-recipes では huggingcace 形式のcheckpoint から簡単に分散学習を開始できるので、ぜひ遊んでみてください〜🚀 tur.ing/posts/ACnNV8lk

GENIAC コミュニティ賞を @odashi_t さんが表彰され、NII黒橋所長が代わりに授与されてました。 黒橋所長「ご存知の通り小田さんは昼夜問わず働いており心配していたんですが、ギックリ腰になりまして💦」 小田さんコメント「大変身に余る光栄です。今後もさらに頑張ります」 #GENIAC pic.x.com/edqex9xc9u

経済産業省の渡辺室長。GENIAC1.0は計算資源提供支援、ナレッジ蓄積促進に主眼を置きつつ、基盤構築企業とユーザ企業とのマッチングを実施。国内の生成AI人材の育成に成功し、国内に4桁億パラメタモデルの構築ノウハウを残すことができた。今後は課題解決に向けてさらに活発に施策を実施する #GENIAC pic.x.com/r8u8j21sij

#GENIAC の発表ここから、どうつながっていくかきになるね

ハイパースケーラーの一社目はGoogleさん。スライド無しで話された #GENIAC

おばらすさん（@overlast）が #GENIAC 成果報告会の内容をレポしてくれてる、ありがたい🙏国内のLLM開発の最前線がここでわかる。 x.com/overlast/statu…

10番目は東京大学の松尾研究所さん。チームたぬき、リーダーの畠山さんが詳細発表。 様々な良好な結果を出しつつ、対話における共感性が高く距離感も適切に維持できたとのこと。 一定パラメタ規模を超えたLLMに発生する対話タスクで共感性が発生できており、人間のパートナーに近いてますね✨ #GENIAC pic.x.com/6vslyvanu6

PLaMoを実現した技術やリソースを適用することで、 #GENIAC の間接的な成果としてPLaMo Lite 1Bを構築した。小さな言語モデルの中では性能が良く、適用可能性が広がっている。この様な取り組みはいきなりできることではなく、大きなモデルを事前に作ったことで高性能なLiteを作ることができたそう✨ pic.x.com/d7lq1htsqy

日本の現状が反映されやすい医療や金融などの専門ドメイン領域や、日本の文化的な背景への理解が無いとエラー解決が難しい音声認識について、優れた結果を得られている。この様なモデルを実現できる技術を持ってサービス提供をしていく #GENIAC pic.x.com/5ktexf1yyf

9番目はPFNグループのPreferred Elements さん。グループ全体で半導体製造からサービス提供まで一気通貫で取り組むことができている。今回は自社に国際的な競争力を持つLLMをゼロから構築できる技術基盤を確立できた、とのこと。#GENIAC の目標を真正面から体現した言える。凄い pic.x.com/k673o4mfyk

終盤に披露されたデモが、実用的かはともかく面白い！！見栄えがすごい。個人的には10倍速くらいで動いて欲しいけど、こう言う出力を見ることで納得感を得られるのかも知れない反面で、しれっと間違ってるケースを人間が発見できるのか気になった。あとビジネス化の手腕はさすが #GENIAC pic.x.com/y6493dcoup

途中でスーパーコンピュータ「富岳」政策対応枠を活用した大規模言語モデル「Fugaku-LLM」への言及もあった。 個人的にはやり切ったことが凄いし、この世界観じゃないと構築できないタイプの基盤モデルが間違いなく存在していると思ってる。効率は考えたら負けかな pr.fujitsu.com/jp/news/2024/0… #GENIAC

8番目は富士通さん。非構造データを規則に準拠しつつ業界ごとに扱う必要がある、という世界観。文書のナレッジグラフ化、作成したナレッジグラフを活用した出力を実現。マルチホップなQAや、文書レベルの包括的な関係抽出などでの性能が高い。 #GENIAC pic.x.com/updnky1ebl

分かりやすさと、知的興味の充足を両立しつつ、嫌なツッコミ処を全部潰してる、成果報告会における発表のお手本の様な発表だった。すごい。お疲れ様でした #GENIAC

学習方法の説明も入力データの概要から丁寧に説明。その上で入力を受け付けるモデルの解説をし、出力や機能に言及。結果として他の高速なモデル(運転は即時判断が必要なので正しい比較対象)を上回る性能を達成。ここまでやっても、また運転免許試験に正解ができないそう。 #GENIAC pic.x.com/g9ktusyiw5

7番目はTuringさん。問題の立ち位置、課題の分解、取り組む問題の解像度向上などを丁寧におこなったことで、開発物の説明をする段階まで多くの来場者がついていくことができていた。 #GENIAC pic.x.com/tg28vnfy5e

6番目はSakana AI。秋葉さん @iwiwi が壇上で来場者の意識改革を行ないつつ成果を主張。自社ではフルスクラッチな基盤モデルの構築をせず、小さい公開済みモデルを改善して成果を得るだけでなく、その知見を公開して業界全体を盛り上げる行動を取っている。凄すぎて最後は一瞬場がシーンした #GENIAC pic.x.com/1iei7pxr76

発表では言及が薄かったけど、性能評価の基になっている評価データは公開されている。 huggingface.co/datasets/stock… ビジネスシーンで活用を試みる中で、ハルシネーション抑止の次に出る顧客課題が図表理解だと明確になった。また、現在公開済みのモデルの伸び代も明らかに。お疲れ様でした #GENIAC pic.x.com/4nrjwbmu3s

4番目はKotoba Technologies さん。技術詳細はそれ程言及せずに、デモを何本も見せるスタイル。どの様なデモを実現すると見栄えし見た人が希望が持てるのか来場者に伝わる発表。今後はPlaygroundやチャットボットの公開に向けて開発を進行。しっかりと売り上げを見据えた動きが出来ている👍 #GENIAC pic.x.com/o9r6sktvkq

日本特有のタスクを分類、日本文化に関する理解は高難易度なタスクと明確化。新規評価手法で各種モデルを評価し、自社モデルは知識の獲得に一定成功したが文脈活用に課題があると明確に。構築したモデルはGPT-4と異なる出力をする。確実な成果を出してより大きな問題を見据える真面目な発表 #GENIAC pic.x.com/nawuyime1e

3番目はElyzaさん。モデルのサイズ拡張後の継続学習と、日本に特有なタスクの分類の試み及び、日本の知識に特化した指示学習が特色。レイヤーの重複を許す分割で積み上げたネットワークを作りパラメタ数を拡張して継続学習した時点で各種ベンチマークでGPT-4を超える結果が出た #GENIAC pic.x.com/dlwv4wrf0u

今後も徹底的な調査、実験を通じて科学技術の発展に最も重要な観察を行う。来年はGPT-4に並びたいと考えている。 ゼロからフルスクラッチの地道なアプローチで結果を出せる見込みにある、正に理想的なアウトプット。この取り組みの過程が全て電子的に公開されているところが素晴らしすぎ👍 #GENIAC pic.x.com/7kwxucuswb

当初順調に学習をしてきたが下流タスクで不具合が発生。徹底的な調査で原因を究明し、学習パラメタを調整するとこで大きな躍進をした。2.1Tトークンまで学習を進めることで、GPT3.5とGPT4の間の目標性能に達する見込み。172Bモデルの構築は12月以降に最終結果が出る見込み。すごい #GENIAC pic.x.com/kfjvagkc7v

2番目はNIIの黒橋所長。LLM-jpの活動を主導しオープンな活動で広く開発、評価、実験管理手法などのノウハウを共有。LLM研究開発センターの設置を実現。事前学習・指示学習用データの公開。大人数の取り組みだけあり、まだ冒頭なのに成果が多すぎる💦 #GENIAC pic.x.com/boyoh5yfnr

トップバッターはABEJAさん。一番最初なので文脈の掘り返しが必要で大変💦 個別モデルの開発工数削減とRAG手法の活用の取り組みをした。コスパ重視の取り組みだが可動なデモを実現した。今後は社内モデルを活用したいとのこと。構築ノウハウが少ない中で乗り切った技術力と根性がすごい👏 #GENIAC pic.x.com/oieky3u20o

RAG(Retrieval Augmented Generation) は日本語だと検索拡張生成。Elasticさんが見目麗しく歴史から課題までまとめて下さってる #GENIAC elastic.co/jp/what-is/ret…

GENIACの成果報告会に来ました #GENIAC pic.x.com/u94ko9xnhj

国内初 自動運転向け生成AI　スタートアップが開発【WBS】-テレ東BIZ youtu.be/Lutgvw_bsSQ?fe… #スタートアップ #チューリング #山本一成　#自動運転 #生成AI #経済産業省 #GENIAC #グーグル　#テレ東BIZ

ぽんぽこたぬき あれ、MPS半分くらいしか使えてないやん。スワップ多すぎたか。メモリー欲しい。（買い替え） #GENIAC #Tanuki pic.x.com/gjxkslibk1

大規模言語モデル「Tanuki-8×8B」を開発。海外モデルに比べ、共感性や思いやりのある返答や､自然な言葉遣いでの作文が得意だという。 engineer.fabcross.jp/archeive/24090… #大規模言語モデル　#生成AI　#GENIAC　#AI pic.x.com/xllormeihn

Tanuki 関連の記事が2本Trendingに入ってますね！ 他にも本LLM開発プロジェクトの関連記事が50件近く公開されてますので、ぜひご覧ください。 zenn.dev/p/matsuolab #松尾研 #GENIAC pic.x.com/7nd8ur1xsw

肝心の基盤モデルLLMは、どれもスクレイピングでの著作権侵害であり、海賊商売です。 貴重な日本独自データを保護せず、著作権問題を無視して生成AI経由で売り渡す「データ売国」にも加担しています しかも盗品商売な上に、 #GENIAC 各社は、我々の血税を補助金として受け取っています。ありえません

返信先:@kantei生成AI向けの経産省 #GENIAC でも，上記のAI戦略会議・東大JDLA派閥の企業・研究室ばかりが並んでおり「独占・癒着・利権化」を強く感じて，オカシイです． meti.go.jp/policy/mono_in… PFN, Abeja, 富士通(※富岳)に， アカデミア寄りの松尾研・NII (※ @LLM_jpの母体)や Sakana AI も支援されています pic.twitter.com/GBNaDUL5W6

日本語のTTS Arenaを公開しました。弊社モデル、Google TTSを含め、日本語text-to-speechモデルを比較しています。ぜひ遊んでみてください。 追加したいモデルがあればDMをください！ #GENIAC @huggingface huggingface.co/spaces/kotoba-…

先日開催されたMicrosoft Build Japanにおいての弊社CEO講演がYoutube上(46分~)で公開されました。弊社の技術開発と取り組みに関して話していますので、ぜひご覧になってみて下さい！#MSBuild #GENIAC @msdevjp youtube.com/watch?v=HFN0Uq…