#i9_12900 /64GB/1TB(M.2)+1TB(SATA) + #OCuLink #RTX3090 の変態AIマシン完成！無理無理モニタの裏へ押し込んだ(笑) こっちは主にLLM。command-r plusのiq2_xxs.ggufが2〜3 token/秒。まぁ使えなくは無いw pic.twitter.com/vkIgv9SVrc

#GoogleColabPro で #FineTune 、100 epochs完了。dataset 3.6k枚で17時間半。#RTX3090 + #GPUBox だと100時間wだったので激速い♪費用は204.02ユニット。100(約1k円)ユニット単位の購入なので3k円。リーズナブルじゃ！？ < 時間とコストは枚数に比例 #Notebook はこちら colab.research.google.com/drive/13DILDtJ… pic.twitter.com/D3TD3HQdCD

#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる！(笑) < メモリは32GB python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen #gradio_llm #LLM #RTX3090 #GPUBOX pic.twitter.com/MCuGoUv9QP

こーんの見た目。見た瞬間ﾋﾟｰﾝとｷﾏｼﾀ。 #PALiT ですね。すんごいド派手。 なんと #RTX3090 。ひえー 光ってるところを魅せられないのが残念で堪りません。 ちなみに8Pin×3。16Pinじゃないんですね〜。びっくり。 116,980円で販売中〜。 ぜひぜひ。 #パソコン工房 #郡山 #うねめ通り pic.twitter.com/LXm0pfPzy3

#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech pic.twitter.com/WPGWmrUIsA