全く話題になってないけどNvidiaがllama 3のファインチューニング版出してる！しかもベンチマークテスト上（過剰学習している前提だが）でcommand r +超えてる

金鉱を見つけたいならLLMのトレーニングやファインチューニングをしてるんじゃねぇ ヒントンやベンジオやルカンは名もなき仕事をしていたはずだ

漫画の動作をファインチューニングする余地が出てきたな…

こっそり生えてたClaude Instant、試しにファインチューニングしてみようとしたらモデルIDエラーになった😆 pic.twitter.com/QLOYnHiKwS

あ、たぶんファインチューニングの学習率のスケジューラの不具合だ。

あと既刊の「スーパー・ファイン・チューニング(前編)」、現在とらのあなさん通販分が在庫なしになってますが今後追納する予定です。タイミングはまた改めて告知します、よろしくお願いします〜！

AI用語の勉強。 LLMのモデルの後についてる70BなんかはBillionのBで、パラメータ数を表している。 ファインチューニング（追加学習）は訓練したモデルのパラメータを微調整する。転移学習はAで学習した知識をBに持ってくるイメージ。

経済学で言えば、うちの職場では現実的な進路として公務員を無視できないので、微分の計算は（使った方が説明が楽だという事情はさておき）教えざるを得ないと思う。学際学部の入門科目と一口に言っても、学生とカリキュラムの特性をふまえ、実際にはファインチューニングが必要だと思う。

あれ、ファインチューニングにClaude InstantとかCommandなんて対応してましたっけ…？ pic.twitter.com/K0XddXPUe5

結局こんなもん世界的に規制がどんどん進んで 今度は海外勢が頑張ったなるべくクリーンな基盤モデルが出てきたらそれに寄生するだけだぞ 日本勢がやってる事なんてお遊びでしかない 海外のOSSの学習モデルをファインチューニングしていじる事しか出来てない 誰でも出来るような事をしてドヤ顔してる

ファインチューニングするだけなら私にもできる ファインチューニングとかモデルマージしたり蒸留してるようなレベルのやつが 私は生成AI開発者です！って名乗ってるレベルなのが日本だよ 海外の無断学習ありきの真っ黒な学習モデルに使い過学習したりマージしたモデルくっつけたりしてるだけ

このままではファインチューニング屋さんになってしまう（それも全然悪くはないんだが）、そうだ、mistralai/Mixtral-8x22B-Instruct-v0.1でオリジナルの合成データセットを作るぞぉ！と思ったら、なんと、モデルのダウンロードだけで数時間掛かる！！、その間ぼーっとしています

一生悩んでるTHIEAUDIO ・Hype10：コスパ💮 10BA(Sonion/Kwoles) + 2DD(Impact²) ・Prestige LTD：フラッグシップのファインチューニング EST (Sonion) + 4BA(Sonion/Kwoles) + 1DD ・Monarch MKIII：セミカスタムで被らないデザイン選択肢あり 2EST(Sonion) + 6BA(Sonion/Kwoles) + 2DD(Impact²) pic.twitter.com/44PKQLsdyM

人間と機械の学習は同じとか、SDあたりをベースにファインチューニングしただけのクリーン(笑)えーあいとか、機械に負けるなの根性論とか、なして同じことばっか繰り返すかね オプトインで作れば全部解決じゃん おわり

返信先:@nukosama転移学習ですか？ファインチューニングですか？もととなったLLMはなんですか？

返信先:@TempemLoidそこで言ってる「学習」が基盤データセットへの取り込みなのか、作品を大量に収集されてのファインチューニング化なのかでだいぶ話変わってくると思う

差分について補足すると、LLMにおいてトークン毎のバイト数は不定なので、Unified Diffなんかではハルシネーションを起こすんだわ（編集する文字列の位置が正確に定まらない） Line Diffなら許容できるけど、ファインチューニングでもしないと書き直した場合の精度を大きく下回ることになる

ファインチューニングしたのでピュアなStable Diffusionです！が乱発されてあっさりひっかかってる人たちをみているので、まぁそうなるだろうなぁとしか...

同じモデル使えば別にonnx化は簡単だし 何よりファインチューニングできるから案外悪くない？

見てはいけないと思いつつ元気に画像生成AIを推進している人を見た。推進したいなら君は違うかもしれないが他者IPのi2iをどうするかデータセットやファインチューニング内の権利の生きてるIPどうするか話してくれないでしょうか。君はしなくても乗せられた他者はするし引っかかったら全部訴訟？まじ？

ファインチューニングで、私がジル・ド・レの複雑な性格を適切に体現することは難しいと思われます。LLMはそもそも事実に基づいた知識や情報を持ってるわけではなく、与えられたプロンプトに基づいて即興的に応答するシステムです。

chat GPTとclaudeの使い分け、自論は以下の通り。 成果物が明確なら、Claudeへの情報提供やファインチューニングしてあげるのが効率的。 汎用性高くデータベース化したいのであればknowledgeの受け皿としてGPTsを制作。…

なぁんで自分の作品をファインチューニングで出力するのは嫌って話しといて基盤データの58億枚勝手に収集されたデータはダメって言わないんだろうねホント そこの立ち位置しっかりしてくれよ

ローカルLLM、ファインチューニング必須ぽいな。

返信先:@hogekujirapahuMeta製AIのファインチューニングらしいので、状況自体は特に他と変わりないのでは？ データ元もウェブサイトのスクレイピング入ってるみたいですし。 有料書籍辺りの混在が確定してない分、まだギリギリグレーってだけで。 ja.m.wikipedia.org/wiki/LLaMA

返信先:@SuguruKun_ai仕事はやw さすがすぎますわ〜 ならばRAGファイルに YC時代の名書の日本語訳とかも入れた方がいい review.foundx.jp/entry/startup_… review.foundx.jp/entry/super-su… review.foundx.jp/entry/startup_… review.foundx.jp/entry/hard-sta… んでアルトマンつぶやき過去全部ファインチューニングして だれでもアルトマン節になる…

まぁ、結局 指示がと出力予想が上手いだけでファインチューニングの問題は何も解決しとらんって事か

Llama 3 8の日本語継続モデル、使ってしまって良いんですか… ファインチューニングが安定しなくて苦労してたので、ありがたやです…

豊富なデータセットを収集。 - モデルサイズと人間のフィードバックからの強化学習（RLHF）が性能向上と人間の行動との一致に重要。 - オープンソースモデルはプロプライエタリモデルよりもリスクが少なく、コードでのファインチューニングが必ずしもLLMsの行動を向 #AI

今日だけでllama 8bの日本語ファインチューニングモデルが2つも出てる！ 8bitモデルも誰か頼む

BigQuery での LLM のファインチューニングと評価の概要 #GoogleCloud buff.ly/4bmvbOd

これのLLMは今後のファインチューニングの練習の土台になる予定。

24年新卒世代の生成AI力がすごいかもしれない！ LoRA作ったり、ファインチューニングしたり、エンジニアリング力もさることながら、詳しく書けないけど生成AIを使った企画のアイデアも面白いものがしっかりある人によく出会う。 旧世代として、この世代を潰さずに飛躍させられるように頑張ろう！

phi3をunslothでファインチューニングしたい。 日本語の記事全然ないな。 github.com/unslothai/unsl…

5/ gpt2-chatbotの噂 OpenAI「GPT-2」のファインチューニングであるという説 名称が酷似しているためミスリーディングしやすいが、こちらは上で記載した通り可能性としては低い

ケルシー口調LoRa作りたいんだけどllama3日本語ファインチューニングしてくれてるものってもうあるのかな

2019年のGPT-2（1.5B）のファインチューニングモデルがgpt2-chatbotと言う解釈は現時点で最も腑に落ちますね。 1.5BモデルのファインチューニングだけでGPT-4並にする手法の開発に成功したと言う解釈です。 その手法を使って開発される大規模パラメータのGPT-5の性能を想像するとヤバいですね。

ベースモデルが他の画像を学習していても、特定キーワード(プロンプティングなど)で出力されないようにチューニングしているということ...🤔？ > ピュアモデルAIは、Stable Diffusionをベースに契約済みの作家の絵柄だけで出力するようにファインチューニングしたモデルです。

ローカルLLMは、APIとの使い方を根本的に変えなきゃいけないな。評価・生成の種類で複数のLLMの使い分け、ゴールシークのような中間生成を重視したプロンプト、出力の再帰的な改善、そのループに人間による評価の介入。さらに、ファインチューニングや進化的マージを組み合わせる。って感じかな。