ポスト

llama-cliを使ってみるところまで書きました Gemma 2 Baku 2B Instruct (Q8_0, 2.6GB) CPUでも軽快に動きます llama.cppでHFモデルを変換して対話する環境を作る(Windows CPU版) #note note.com/mayu_hiraizumi…

メニューを開く

まゆひらa@riddi0908

みんなのコメント

メニューを開く

GPU動作にしたら出力が6.65倍になりました llama.cppの環境を構築して対話やモデルの変換を行う(Windows CPU/CUDA対応) #note note.com/mayu_hiraizumi…

まゆひらa@riddi0908

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ