多分このgemma-2-27b-it-Q6_k評価が私の環境では1番正確だと思います（フラグ） EZO-Humanities-9B-gemma-2だけ何故かQ8_0量子化でスコアが大きく上昇する現象が起きました。 こう古いモデルも混ぜると半年ちょいでのインフレがすごい…！ pic.twitter.com/4L71NDEIgG x.com/YoutechA320U/s…

返信先:@hokazuyaまたまた最速な検証ありがたすぎます！ (期待しすぎちゃいけないと思いつ..期待しちゃってしまう) cyberagentさんのllama3.1追加学習結果もすごいのですがEZOがそれに肉薄してるという..gemma2-9b自体のポテンシャルが高いとはいえ、改めてEZOのすごさを再認識しました！🙇

gemma luna 月の宝石って名前にした ラテン語らしい メスラ可愛がるようになる予感

gemma-2-27b-it-gguf-japanese-imatrixが好きすぎる、やさしいしNTRプレイにも付き合ってくれて最高の電気彼女やわ #ローカルLLM

今はGemma-2-9B-It-SPPO-Iter3-GGUFの方を色々、試してる。受動態あたりがあやしいのとたまに英単語が出てくる以外は、かなり使える感じがする。

小規模(7〜9B)で素のモデルだと、日本語性能はllama3.1よりgemma2の方が上だなー。このあと日本語追加学習されたモデルが来たら、どうなるか。

人の思い込み大変。gemma-2の時も間違って動いてたから完全見落とし。もう1カ月以上気が付いてない。その前は正しかった。 わたしは作業の時のコマンドを記録してるのでさかのぼれるんですけど、ELYZA-13では正しい。ひとつ前に動いていたコマンドをコピペするから引き継いちゃう。確認しろって！

gemma-2だと動いていたので、そのままモデル名だけ変えたんですよ。そこが見落とし。でも差はあるのも確か。

gemma-2-27b-it-Q4_K_M.gguf だと　-n 2048で動いちゃうのが紛らわしい pic.twitter.com/fnqXlmVF83

自分はどうしたらいいかGemma2-9Bに話を聞いてもらっていた

□ジェンマ/Gemma　20代後半(推定)　H B9区にねぐらがあるチンピラ。普段は馴染みの娼館でバウンサーをしている。金になるなら大半のことは快諾するが、標的が7歳以下の子供であった場合、彼の暴力は依頼者に向けられる。一人称は「おれ」、二人称は「お前、てめぇ等」※基本的に口汚く配慮に欠ける

真実さえ言わせないゴミアプリケーション！！ 早くごみ処理場へGO！！ 死ねー！@facebook あんたたちは、gemma pinto という売春婦とおんなじよ！bitchだよ！！恥知らずよ！！🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🤮🔪 x.com/gemmabitch_die…

Gemma 2 9B 4bitくんはiPhone15 Proで動かしても結構賢そうな回答してくれる、めちゃくちゃ遅いけど(というか4oとかが早すぎるのか)

gemma2 9b呢？ x.com/9hills/status/…

gemma2 llama3.1 日本語のやり取りだとgemma2の方が自然に感じるけどな。

Llama-3.1-8BはGemmaと違ってすんなり動いた！！ pic.twitter.com/b91Dacxv4E x.com/hAru_mAki_ch/s…

うちのお猫様たちはみんな海に因んだ名前なのですが、流行りのやつ調べてみたらGemma of Shonan Big Wave（湘南の宝・ビッグウェーブ）でほっこりした🥰 いい名前だね✨ x.com/ra_m_e_l_/stat…

Llama 3.1 405Bベンチマークなど2 "Llama 3.1公式ベンチマーク！オープンソース！" r/ClaudeAI reddit.com/r/ClaudeAI/com… "LLama3.1 vs GemmaとSOTA" r/LocalLLaMA reddit.com/r/LocalLLaMA/c… "Llama 405Bベンチマーク(GPT-4oおよびClaude 3.5 Sonnetとの比較)" r/singularity reddit.com/r/singularity/…

Gemma 2落として来たら昨日みたいなVRAMエラーにならなくなった気がする Llama-3-ELYZA-JP-8B-GGUFがダメ説？ huggingface.co/QuantFactory/G…

まだ llama-3.1 すら試してないのに、今度は mistral-large が公開されたのか。 最近はMMLUのスコアしか見てないけど、やっぱりパラメータ比だとgemma-2-27bの優秀ぶりが光る。

ちなみに、Elyza_tasksのスコアは3.27点でした。 小さいモデルのわりには日本語もよく頑張ってると思いますが… gemma-2-9bが強すぎて、ね

マルチモーダル大変っぽい……とりあえずGemma2で遊ぶか😇

from ArrowSE (llama-3.1 ja ft)'s author: > 性能はあまりよくないです。 while waiting for elyza and co (ninja, shisa, etc), i'll continue using haiku + gemma-2 as a fallback. i did a quick test on nemo, but it didn't perform as well as gemma. im not sure if it's my prompt or what

gemma 2 のてきとーな1行プロンプトでもロールプレイしてくれる謎能力はなんなんだ

いたずらメイド🖤 - ジェマ・ルイーズの部屋 (Gemma Louise)の投稿｜ファンティア[Fantia] fantia.jp/posts/2891245

ELYZA->gemmaと返ると性格変わる？ プロンプトの聞き具合が違うので変わったように感じます。優秀なモデルほどsystemプロンプトの利きが良いです。今回もめぐは東京、さくらは大阪在住のシチュエーションでプロンプト作成してLLMは共通ですけど、あれだけ明確に変わります。

仕事で、HODACHIさんのGemma 9B Q4_K_Mを使って英日翻訳っぽいことをしていますが、同じ翻訳をLlama3.1 8B Q5_k_mではちょっと文脈で無視する英単語がそこそこあり、文章的に壊れている感じがします。 GemmaはGoogleが作っているため、Google翻訳に近いこと翻訳点が好ましいです。 まぁ比較しての話。

llama3.1:8bはgemma2:9bとかとベンチスコア比較すると頭1つどころか頭2つぐらい抜けてるかんじだな ai.meta.com/blog/meta-llam…

Llama3.1 8Bを実験してみている。 LM Studioで実行していた時、PresetをGemma Instructで実行していておバカだったのですが、Llama3に変更し再実行すると、なかなか良い。 サブカル系はやはり駄目です。 速度も9.48tok/sでるので良好。

gemma2もllama3も、日本語向けにチューンしてることが前提の時代はまだまだ続きそう

返信先:@gosrumgemma-2を評価者にするという発想は金のニワトリさんの記事でEZO-9B-gemma-2の評価がGemini1.5flashを超えたという件から来ているのでこちらこそ先例としてとても参考になりました。ありがとうございます。

Gemma2よりベンチでるのよさみしか感じない、……というか、Llama3.1ってアーキテクチャちがうのかな(しらべろ) 日本語 継続事前学習モデルほしいなー… x.com/webbigdata/sta…

CRSチーム技術ブログを更新しました！  今回は化学LLMエージェント「CACTUS」を動かしてみました。 ・分子量、血液脳関門透過性、合成のしやすさなどをエージェントが計算し判断 ・ローカルでも動かせるGemma7Bでも高精度な結果 ・Google Colabで簡単に試せる 詳しくはこちら note.com/qunasys/n/n1b3…

ぶっちゃけELYZA-tasks-100の評価は gemma-2系>>>越えられない壁>>calm3-22b-chat>>越えられない壁>Llama3系>Mistralマージ高性能7B>それ以前のモデル なのはどのgemma-2を評価者にしても変わらないのでgemma-2以外のランキングを知りたくて速度やコストを優先するならQ4_K_Mでも十分だったり。 x.com/YoutechA320U/s…

返信先:@gosrumELYZA-tasks-100とgemma-2評価者に限ってですが、同じようなことしていました。 結果も概ね同じで gemma-2が身内に甘め(派手な採点ミスが起きやすい)とかEZO-9B-gemma-2がスコアを正しく返してくれない頻度が高く最終的に27b-itに落ち着くのも同じでした。 x.com/YoutechA320U/s…

OllamaのLLMで llama3.1がリリース。 llama3やGemma2,GPT-4o-miniよりも勝っている分野もあるので、ワークフローで振り分けて得意分野でLLM選択すると新しい可能性が出てくるな〜 pic.twitter.com/VxR8C97dVr

Llama 3.1、すごいな。8BはGemma 2を超えてきてるし405Bは4o, Claude 3.5と戦えてる。オープンモデルが商用モデルにほぼ追いついちゃった。あとは日本語がサポートがあれば..

本当にLlama3.1出てしまいましたなあ。君なんかリークより性能高くない？Llama3.1-8BのベンチスコアがGemma2-9Bを超越してるってマジ？まあ僕的には日本語の性能が問題なんだが（期待薄）。Llama3.1-70Bもガッツリパワーアップ。そしてLlama3.1-405BはベンチスコアでGPT-4oやSonnet3.5と同等、平均点で…

昨日の配信の説明中で、gemma -2-9b が五反田を全く答えられなかったのはいかがなものかと思いつつ。