- すべて
- 画像・動画
並べ替え:話題順
#GoogleColabPro で #FineTune 、100 epochs完了。dataset 3.6k枚で17時間半。#RTX3090 + #GPUBox だと100時間wだったので激速い♪費用は204.02ユニット。100(約1k円)ユニット単位の購入なので3k円。リーズナブルじゃ!? < 時間とコストは枚数に比例 #Notebook はこちら colab.research.google.com/drive/13DILDtJ… pic.twitter.com/D3TD3HQdCD
#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.gguf、2bit化の関係か、話はいいのだが、プログラムが結構無茶苦茶なのを返す(笑) 仕方ないので、Meta-Llama-3-70B-Instruct-IQ3_M.gguf へ変更。こっちは1.5 tokens / 秒程度の実用ギリギリ…。 #LLM #Llama3 #RTX3090
#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる!(笑) < メモリは32GB python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen #gradio_llm #LLM #RTX3090 #GPUBOX
#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる!(笑) < メモリは32GB python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen #gradio_llm #LLM #RTX3090 #GPUBOX pic.twitter.com/MCuGoUv9QP
#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた!メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech
#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた!メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech pic.twitter.com/WPGWmrUIsA