llama.cppがGPUサンプリング対応で爆速化！ サンプリング工程がGPU内で完結し、データ転送の無駄を排除。推論速度が劇的に向上しました！「-bs」引数ひとつで有効化でき、ローカルLLMがさらに快適になります。🚀 #llamacpp #ローカルLLM pic.x.com/SxCG2bqcrp

検証まとめ llama.cpp Llama-4-Scout-17B-16E-Instruct-Q6_K CPU: AMD EPYC 9175F (AVX-512) ・CPU 推論 ・eval ~11–15 tok/s ・GPU 未使用 vLLM Hermes 4.3 36B nvfp4 GPU: RTX 6000 PRO Max-Q 96GB ・GPU 推論 ・gen ~32–34 tok/s pic.x.com/CDsOR4Zdgg

ik_llama.cppのマルチGPU高速化に関するRedditの技術議論スレッド reddit.com/r/LocalLLaMA/c…

【マルチGPU革命！ik_llama.cppで推論が最大4倍速に 🚀】 新モードのグラフ並列で複数GPUを同時駆動！70Bモデルも爆速で動き、安価なGPUを並べるコスパ最強構成が現実的になります。眠れる力を解放しましょう！ #AI #GPU pic.x.com/QKxfiU7Za6

適当にバージョンアップして気づいたんですけど、最新のllama.cppって標準でReasoningモデルの思考部分出力しなくなりました？ 少なくともgpt-oss-120bがGPUの動きからReasoningはしているはずですが出力しなくなっています。

【旧型GPU3枚で最新AIを動かす！神コスパ活用術】 中古GTX 1070を3枚使いVRAM 24GBを確保！最新のllama.cpp設定で処理速度が大幅向上します。大型モデルも個人環境でサクサク。型落ちハードを技術で使い倒しましょう！🚀 #生成AI #自作PC pic.x.com/DCYPo2qEky

今見たら「FastFlowLM NPU」にgpt-oss 20Bがない Llama.cpp GPUの方に移されたぽい😗 x.com/itm_aiplus/sta…

MoEモデルで毎回呼ばれる重要部分だけをGPUに載せるllama.cppのオプション「-cmoe」「-ncmoe」を使うとGPUを1枚しか使ってくれないのは何なんですかね…？

Vulkan llama.cpp v1.66.0にするとGPU2枚にした時にロードできなくなるな

llama.cppがbackwell GPUのMXFP4演算器の使用をサポートgithub.com/ggml-org/llama…

llama.cppのダウンロード先 macOS/iOS、macOS Apple Silicon、macOS Intel、Linux:、Windows、GPUはあってもなくてもOK github.com/ggml-org/llama…

返信先:@rin_tkswもしよかったらRamaLama使ってみてください。ざっくり言うとollamaをコンテナで実行する、的なツールです。実行環境のGPUに調べて、必要なライブラリ(CUDAとかROCmとか)をリンクしたllama.cppが入ったコンテナイメージをダウンロードして実行します ramalama.ai

AMD GPUで爆速ローカルAI！ROCm最適バージョン判明🚀 llama.cppとMI50 GPUで、ROCm 5.7.3が最新版より高速な結果に！驚きのパフォーマンスを試してみませんか？✨ #生成AI #AMD pic.x.com/B39bXdFCmD

寒い冬にGPUを回して暖を取るための知見を書いた。ご活用ください。 > Claude CodeをMac Book ProのローカルLLMで動かすためのllama.cppパフォーマンスチューニング qiita.com/minamijoyo/ite…

llama.cpp使ってみたけど全然速くならんな。GPUが無いとほぼ変わらんみたい。

返信先:@2022_technologyllama.cppの対応も時間がかかっていましたし、難しいのですかね。 GPUに重みを置いています。 ryzen ai max+395勢としては、かなり強力なローカルモデルです。ベストフィットなサイズ感であり、50tpsくらいででも良いのでは、と期待しています。

llama.cppのQwen3-NextはCUDA対応が不完全で、あまり速度が上がらないのは仕様です ただし、GPUメモリに重みを置くことはできますし、全く速度が上がらないわけでもないらしいです（私も詳細までは理解しきれてません） x.com/posi_posi8/sta…

返信先:@mojinllama.cppでニューラル言語モデルを回しているので、それなりにGPU性能は必要ですね。私はM2 MacBook pic.x.com/BYX3ZZs3Qi