LLMノード公開しました😆 今回追加したLLMはComfyUI内部で動作します。Ollamaやllama.cppを外で起動する必要はありません。 ComfyUIに最新のllama-cpp-pythonをインストールすることで、Qwen3.5やGemma4などのモデルがchatとVLで利用可能です。 x.com/AITECCAFE/stat…

NatureLM-8x7B-Inst をローカル環境で動かす：Ollama / Lemonade / llama-cpp-python / 自作API 4方式比較 #NatureLM - Qiita share.google/OmUje9ZCFZ7J2C…

⚡ ローカルLLMの推論エンジン選び llama.cpp（C++製） → 速い、GGUF専用、GPU活用 → 11.4 tok/s（32B-A3B） Transformers（Python製） → 万能、どのモデルでも動く → 1.8 tok/s（8B） 同じPCで6.5倍の速度差。 「何で動かすか」が速さを決める。 #llamacpp #Transformers #ローカルLLM pic.x.com/cQu8ECqIdE

Gemma 4 いまだにバグ修正がおこなわれているようだ 私は最近llama-cpp-pythonユーザーに戻ってて そっちへの反映は推定一週間以内なんでないのとのこと まあ急ぐ用事がもう無いのでゆっくりで大丈夫です pic.x.com/tqm6lyh7Mj

ggml-org/llama.cpp: LLM inference in C/C++ pythonやrustコードでGemma4のローカル推論やり、かつmacOS/Windows/Linux対応するならllama.cpp使うのが楽そうなのかな。今pythonなwebアプリで使ってる。 github.com/ggml-org/llama…

🇯🇵 国産LLM「LLM-jp-4」実測データ 32B-A3B（MoE）→ 11.4 tok/s ✅ 8B（Transformers CPU）→ 1.8 tok/s 🐢 パラメータ4倍のモデルが6.5倍速い逆転現象。 理由： ① llama.cpp（C++） vs Transformers（Python） ② MoE：320億中38億だけ稼働 ③ GGUF Q4_K_M量子化 pic.x.com/q8BRqtar2C

返信先:@haruka_appsPyxel自身でPyxel IDEを作るブートストラップ構造が面白い。2Bモデルをllama-cpp-python経由で使ってるのも正解で、IDE補完は応答速度が命だから大型モデルより小型高速の方がUX的に圧倒的に有利ですね。

返信先:@kitaoご質問ありがとうございます！ モデルは「gemma-4-e2b-it-Q8_0.gguf」を使用しています。パフォーマンスを優先して 2Bモデル を選定し、llama-cpp-python 経由で爆速で動かしています！

ComfyUIでQwen3.5ノードの非動作問題を受け、有志がQwenVL-Modをパッチ。Qwen3.5モデルやGGUF量子化モデル利用が可能に。特定のllama-cpp-pythonとtransformers 5.2+導入が条件。GitHubで公開され、要望に応じモデル追加。ユーザーから動作報告も。 #ComfyUI #Qwen3_5 URLはリプ⬇️ pic.x.com/0LqKddGOBf

今日からGemma 4を試す方法 llama.cppユーザー brew install llama.cpp llama-server -hf ggml-org/gemma-4-E2B-it-GGUF Apple Siliconユーザー pip install -U mlx-vlm mlx_vlm.generate --model google/gemma-4-E4B-it Pythonユーザー pip install -U transformers pipe = pipeline("any-to-any",

Google が発表した TurboQuant 論文でメモリ株が軒並み落ちたあと、 当の Google 本体はコード一切出してないのに、 ソロ開発者が論文読んで 7 日で全部実装して、しかも速くしてしまった話。 ・Day1–3: コアアルゴリズム＋141テスト、まず Python でプロトタイプ ・Day3–5: C 実装を llama.cpp x.com/k1rallik/statu…

llama.cppでローカルLLM動かすの、やっぱ推論速度が段違いだわ…。Pythonから `llama-cpp-python` 叩く構成にしてから、サブスクのAPI代気にせずガシガシ試せるようになった。 みんなローカル環境でどのモデル使ってる？ #AI #LocalLLM #Python #llama_cpp pypi.org/project/llama-…

llama.cpp、最近の更新で対応範囲がエグいことになってない？Raspberry PiやAndroidでもローカル推論が実用レベルで動くの、OSS開発の執念を感じる…。 皆さんは何でローカルLLM動かしてます？ github.com/abetlen/llama-… #AI #LocalLLM #OSS #Python

最近「llama.cpp」でローカルLLMを動かすのがエンジニア界隈で標準になりつつあるね。Pythonバインディングの「llama-cpp-python」を使えば、手元のマシンで推論が爆速。みんなは何のモデルを常用してる？ #AI #LocalLLM #Python #OSS github.com/ggml-org/llama…

TIPOの速度がforgeのときよりも遅くてAIに質問しながら解決できた。 入れたllama_cpp_pythonがcpu版だったらしく、入れ直したら早くなった。

llama-cpp-pythonはQwn3.5未対応！ x.com/uzuki425/statu…