並べ替え：新着順
#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.gguf、2bit化の関係か、話はいいのだが、プログラムが結構無茶苦茶なのを返す(笑) 仕方ないので、Meta-Llama-3-70B-Instruct-IQ3_M.gguf へ変更。こっちは1.5 tokens / 秒程度の実用ギリギリ…。 #LLM #Llama3 #RTX3090
#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる！(笑) < メモリは32GB python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen #gradio_llm #LLM #RTX3090 #GPUBOX
#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる！(笑) < メモリは32GB python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen #gradio_llm #LLM #RTX3090 #GPUBOX pic.twitter.com/MCuGoUv9QP
#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech
#Command_R_Plus や #Llama3、環境的に2bit or 3bit程度しか使えないけど、去年の同Bよりギアが数段あがった感じだな。技術的な会話が普通に成立する(^^;
#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech
#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech pic.twitter.com/WPGWmrUIsA
アニメ・ゲーム
ニュース
スポーツ
ニュース
アニメ・ゲーム
ニュース
ニュース
