④ バックエンドの重要性：CUDA vs Vulkan RTX 5070 Tiの結果を比較すると、同一ハードウェアでも CUDAはVulkanよりTGで約1.6倍高速 です。 NVIDIA環境ではVulkanも健闘していますが、llama.cppにおけるCUDAバックエンドの成熟度が極めて高く、dGPU運用の際はCUDA一択と言える結果となりました。

ここまで来ると一周回ってMicrosoft・Qualcomm頑張れになる LM Studio・llama.cppに対抗するMicrosoft LLM Studio（NPUとVulkanに対応）出せよ x.com/umiyuki_ai/sta…

まだ作りかけなのでデザインが悪いですが、出力しながら太字になったり表になったリアルタイムにマークダウン変換されるのがなんだか好きです。 EVO-X2上のLlama.cpp（Vulkan）のgpt-oss-120b-MXFP4.ggufの出力です。x.com/YoutechA320U/s… pic.x.com/tAHQOLW2B3

ryzen9 ai max+ 395 strix haloがrocm 7.1.1でやっと本気出しつつある感。llama.cppでは永らくvulkan高速安定だったが最近はrocmの方がだいぶ速いし安定もしてる。tgも若干速いが特にppはかなり速い。良きかな

問題の総括 ユーザーの困難はLFM2特有MoE非対応で、 従来llama.cpp/Vulkanランタイムが原因。 画像通りb7522で 「Fixed bug where LFM MoE models did not load」適用。

やっと32GB PCで、動きました。😀 RWKV Qwen3-30B-A3B hxa07D L3 on llama.cpp Vulkan backend Intel Arc T130 生成可能ctx 131k以上 速度はまだ遅いですが、どれだけ生成してもほぼ一定速度を維持します。 ハードウェアが高騰する中IGPUで実用的なllm推論ができるように、がんばります。 pic.x.com/NLW2zKKBLL

Vulkan llama.cpp v1.66.0にするとGPU2枚にした時にロードできなくなるな

【爆速】llama.cppがQwen3-Nextに完全対応！ 推論速度が大幅向上！Vulkan環境で最大40%高速化するなど、ローカルLLMがさらに快適になります。業務効率も一気にブーストですね！🚀✨ #llama_cpp #Qwen3 pic.x.com/UZSeU02f9u

Ryzen 7 PRO 6850H と Vulkan.llama.cpp v1.63.0 の組み合わせでブラックアウト解消。速度も良好でAI応答も良いです。LMStudio開発グループに感謝。Windows 11は彼らを見習うべき。