ポスト
llama-cliを使ってみるところまで書きました Gemma 2 Baku 2B Instruct (Q8_0, 2.6GB) CPUでも軽快に動きます llama.cppでHFモデルを変換して対話する環境を作る(Windows CPU版) #note note.com/mayu_hiraizumi…
メニューを開くみんなのコメント
メニューを開く
GPU動作にしたら出力が6.65倍になりました llama.cppの環境を構築して対話やモデルの変換を行う(Windows CPU/CUDA対応) #note note.com/mayu_hiraizumi…