ポスト

以下参考にメインマシンのDevチャンネルChromeでGemini Nanoが動きました。 オフラインで動作する正真正銘のローカルLLMです。 自動的にGPUを使用するので推論は高速です。VRAM消費は2.5GBほど。 Chrome の 組み込み AI Gemini Nano を試してみる azukiazusaのテックブログ2 azukiazusa.dev/blog/try-chrom… pic.twitter.com/czSI6HVI2F

メニューを開く

みんなのコメント

メニューを開く

普通に日本語喋っていて AppData\Local\Google\Chrome Dev\User Data\OptGuideOnDeviceModel\2024.6.5.2205\weights.bin (1.66GB)が本体。同フォルダのマニュフェストファイルにXSと表記があるけどパラメータはいくつでどういう量子化しているんだろ?Gemma2Bのsafetensorsは約5GB。

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ