#GoogleColabPro で #FineTune 、100 epochs完了。dataset 3.6k枚で17時間半。#RTX3090 + #GPUBox だと100時間wだったので激速い♪費用は204.02ユニット。100(約1k円)ユニット単位の購入なので3k円。リーズナブルじゃ！？ < 時間とコストは枚数に比例 #Notebook はこちら colab.research.google.com/drive/13DILDtJ… pic.twitter.com/D3TD3HQdCD

#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.gguf、2bit化の関係か、話はいいのだが、プログラムが結構無茶苦茶なのを返す(笑) 仕方ないので、Meta-Llama-3-70B-Instruct-IQ3_M.gguf へ変更。こっちは1.5 tokens / 秒程度の実用ギリギリ…。 #LLM #Llama3 #RTX3090

#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる！(笑) < メモリは32GB python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen #gradio_llm #LLM #RTX3090 #GPUBOX pic.twitter.com/MCuGoUv9QP

こーんの見た目。見た瞬間ﾋﾟｰﾝとｷﾏｼﾀ。 #PALiT ですね。すんごいド派手。 なんと #RTX3090 。ひえー 光ってるところを魅せられないのが残念で堪りません。 ちなみに8Pin×3。16Pinじゃないんですね〜。びっくり。 116,980円で販売中〜。 ぜひぜひ。 #パソコン工房 #郡山 #うねめ通り pic.twitter.com/LXm0pfPzy3

#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech pic.twitter.com/WPGWmrUIsA

ぐぬぬ💦無念。。。 本当にDLSS作動しているのでしょうか？！ わざとAMDに切り替えてもほぼ同じスコアだった😱 どいひー💦 #黄金のレガシー #ベンチマーク #RTX3090 【FF14】見せてもらおうか！DLSS＆APOの実力とやらを！（ベンチマーク：黄金のレガシー） youtu.be/9VLLtAZmIIU?si… @YouTubeより