新しい MacBook Pro は AI 推論にどれくらい高速化されるのでしょうか? M4 Max は、MLX で Gemma 2 9B (4 ビット) を実行している M3 Max の 56 tok/秒と比較して 72 tok/秒で 27% 高速です。 27% の高速化は、Llama-3.2-1b、Llama-3.2-3b などと同じです。次は@exolabs M4 クラスターです。 x.com/alexocheema/st…

gemma-2-baku-2b-itにCTranslate2を使ってみた。性能よくて生成も早くて結構いいかも。

M1からM4になってDifyのLLMの処理時間を調べたよ。 gemma2:9bでは倍くらい速度が上がったよ。 pic.x.com/mO5q6fXBps

／ 🎬 Destiny（デスティニー） 📖 第1話 👤 田中みな実さん ＼ ダニエラアンドジェマ Daniella & GEMMA コルクソールメッシュストラップサンダル （ブラック） ここだよ👇 hb.afl.rakuten.co.jp/hgc/g00s5f3d.u…

今軽量LLMの選定をしている。 Borea-Phi-3.5-mini-Instruct-Jpは若干カタい日本語だが、複雑なJSONの出力もこなせる。 gemma-2-baku-2b-itはりんなちゃんのところがチューニングしてるから、上記よりも自然な日本語という印象。 しかしJSON出力の理解が少し甘いため、スクリプトによる補完が必要だ。

Vllmの推論によるGemma2を使って高速化、kddcup2024で私は根本の別の対応しているブランチ使って回避しました。 #関西Kaggler会

次はkohecchiさんから、vllm gemma2の話。コンペではmax lengthかえたり量子化してkaggle上で必死に9時間以内に推論＆データパラレルでt4の並列など。これにvllmを(頑張って)いれて数倍早くした話。 適用までにエラー文がたくさんだ🥹 #関西kaggler会

Gemma2をvLLMを動かしたくなくなる話。Kaggleカーネルで実行すると、基本的にエラーになる。GitHub issueには、もっと新しいGPUになるのを待つしかないと書かれている。設定を少し修正すると動き始める。でもエラーが頻発。casualタスクでは使えるが、classificationは使えない。 #関西kaggler会

エラーをうまく解消してvLLMでGemma2を動かすための根気がすごい！ #関西kaggler会

GemmaをvLLMで高速推論してアンサンブルするだけではダメな理由、KaggleのGPUが古すぎてvLLMが動かないのかw #関西kagger会

gemma2のエラーわかりみw #関西Kaggler会

Gemma2をvLLMで動かしたくなる話。LMSYS上位解法はみんなGemma2。データ並列で推論。ただ時間がかかる。HuggingFaceからvLLMに変えるだけで、コードもシンプルに、数時間が数分レベルに。 #関西kaggler会

（メモ）Gemma2-9b-itが強い #関西kaggler会

#関西Kaggler会 VLLM x Gemma2 最近よく聞く印象があります！発表が楽しみです

@kohecchiさんの発表。最近LMSYSやatmaCupなとで活躍していたGemmaのお話し👀 #関西kaggler会

モチベーション。Gemmaが最近のコンペで活躍。vLLMが高速らしい。 #関西kaggler会

vLLM x Gemma2 気になる！ #関西kaggler会

KaggleカーネルでvLLM x Gemmaを動かす - こへっちさん #関西kaggler会

志願して発表するこへっちさん。 vLLMをGemmaで動かす話。 #関西kaggler会

vLMM✖️Gemma 2 キターー #関西Kaggler会 pic.x.com/gxsCGWWSxB

vLLM Gemma2をkaggle kernelで動かす話 #関西kaggler会

vLLMとGemma2！！気になる！！ #関西Kaggler会

Thanks to Google! We received $5,000 in GCP credits through the Gemma Academic Program, which we'll be using for our MLLM research. Gemma Academic Programに採択いただき、$5,000のGCPクレジットをいただきました。MLLMの研究を加速していきます！

露天風呂気持ちいい！ - ジェマ・ルイーズの部屋 (Gemma Louise)の投稿｜ファンティア[Fantia] fantia.jp/posts/3097140

『タンスの狭間』更新しました。 最近の記事 　・低スペックPCからOllama（gemma2)を呼び出す 　・メインPC（グラボ付き）に買い換えた感想

- GSM8K : 教師なし SCPO で基本モデルから 22.74% の精度向上 - MATH : 教師なし SCPO で 5.26% の精度向上 - ZebraLogic : Llama-3 8B を SCPO で学習させ Llama-3 70B, Gemma-2 27B, Claude-3 Haiku を上回る性能を達成

ちょっと早いですが忘年会やりましょう！ 【GDG Osaka】生成AI LT忘年会 #Gemini #Gemma #BuildWithAI gdgosaka.connpass.com/event/334362/ #GDGOsaka

今朝の一曲 /Walking in the Sky (feat. Gemma) youtu.be/fhrck046Dg4?si… @YouTubeより pic.x.com/fRagXNii1J

llama3.2-vision だと全部CPUに行っちゃうけど、gemma2 だと CPU/GPU またがりになるな...Win の共有GPUが使えないということでもないわけか...はて？

Gemma Hayes 「Blind Faith」 (2024) Gemma HayesのNew Album。　奇跡だ！ 少なくともGemma Hayesはアイルランドでは評価を確立しているのが良かった。2002年から22年ですよ。 pic.x.com/3i78KmZxTp

主にGemma2 27Bを利用して英語Wikipediaの一部を日本語に翻訳したデータセットを公開しました(データとしてはPhi 3.5 MoEとGemma2 27Bで出力されたものがあり、Phi 3.5 Moeの方についてはCC-BY-SA 3.0で利用可能です) huggingface.co/datasets/hpprc…

Iris、Yougaに続いて、Gemmaアクトラン完。良い火力。というかエネルギーないレジェ装備だと火力稼げなさすぎてYougaつらかった。Irisは召喚でどうにでもなった。 #torchlightinfinite pic.x.com/ovYcoJz2rP

モデルはgemma2-9b-Q4なので回答は早いです。

知り合いに聞いても最近の性能のいい8b,9bあたりでも出来なくて、LangChaineやLangGraphはかろうじて動くとか。gemma2-27Bでもだめでした。

Mu's Trip Wow, this "龍光寺" is really peaceful. It feels so serene, like stepping back in time. There's this beautiful body of water, probably a lake, right her... (Powered Google map apis,Gemma9b-iq4,animagine-xl-3.1,claude3-sonnet-V,etc.basePhoto:ヒロイワネ) pic.x.com/TmVRDTPSoF

zenn.dev/tanabee/articl… Genkit x Gemma2 でオフライン翻訳ツールを作ってみた

© 吉吉吉麻gemma pic.x.com/KVGCcyHyOV

Gemmaをスマホに乗っけた。明日デプロイ pic.x.com/t5iJxFQrgE

世間が米大統領選挙で大騒ぎしているとき、鈴木傾城はローカルにollamaをインストールしてgemma2:27bを稼働させ、それをDocker経由で立ち上げたWebUIで、大規模言語モデルを稼働させて歓喜していたのだった。27億個のパラメータを持つLLMが、ローカルで動くとは……。感無量だ。 pic.x.com/hSirEkwm37