【ブログ更新:Gemma 4 12B CoderをローカルLLMで動かす方法】 VRAM 4.5GBから動くPython特化の量子化コーディングモデルが登場。llama.cppまたはLM Studioでオフライン実行が可能です。 ※詳細はこちら:jobirun.com/gemma-4-12b-co… #Gemma4 #ローカルLLM

llama-cpp-python単なるCPU環境でも環境構築大変だな。--extra-index-urlつければpipでインストールできるが、実行時にllegal Instructionでる。 自分でビルドすれば行けたが面倒。llama-serverにするかな。

はてなブログに投稿しました conda installを駆使してCUDA対応のllama-cpp-pythonをビルドした記録【備忘録】 - 誰かの技術置き場 fallpoke-tech.hatenadiary.jp/entry/2026/06/… #はてなブログ #llama-cpp-python #生成AI #Python

具体的な構築方法はシンプルだ。llama.cppをMetalでビルドし、Gemma 4 26B-A4Bモデル（約16GB）とMTPドラフトモデルをGGUF形式でロードする。筆者はM1 Max（64GBユニファイドメモリ）でこれを実現した。ベンチマークでは、Pythonのdiff解析関数の生成とエッジケース説明タスクで、ベースラインの58.2

2年振りに llama.cpp を更新したら llama-cli がデフォルトで対話モードになっていて --single-turn つけても stdout に吐かなくなったんだが、どうしたらいいのかわからん、ローカルでチャットしたいわけじゃなくてコマンドとして使いたいんだよ、python でスクリプト書かないとだめ？

llama-cppの自家ビルド、いつもの検証用Qwen2.5 7B-CODER-Q5-K-M、attenあり。 うちの自家製llm-os直結でとりあえず試した結果、ハード限界と思ってた52を突破し57t/sに迫る勢い、謎。 attenだとメモリたりねーよって怒られる、なしで十分早いし。 llama-cpp-pythonは捨て、乗り換えたほうがいい。 pic.x.com/LASoAaAxD7

llama-server、試験導入成功で付属GUIで立ち上げたのだが、流石はC言語ベース、桁違いに早いぞ！ llama-cpp-pythonでなく最初からこれベースで作ってれば良かった、MTP対応、複数パイプライン処理。 api接続で外部からも呼べる。 #llamaserver pic.x.com/DIx6HnCkWH

あ、今日は何の日のネタ集めたのに画像を作ってない。 ほら、llama-cpp-pythonのmake始まっちゃったし。 Windowsだとコンパイラに不信感があるのにlinuxだとないのが不思議。

オリジナルのembedding_serverをllama-cpp-pythonからllama-cpp-server移行に合わせ、pythonからrustへ書き換えてる。 なんかわくわくするね。 次元数改変はネットワーク管理者に許可とれと明示しておこう。 #Rust　#AI Rustでベクトルデータベースを自作して学んだこと | Tech.blog

llama-cpp-pythonをPython 3.13.11/CUDA 13.0/SM 120/Blackwell/VLM対応で最新ホイールをビルドした。 結果、Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUFが　ComfyUI上で動くようになったのを確認したので、今週は十分仕事したということでヨシ🤗

claude codeからjsonの原文pythonでパースして llama.cppのgemma4呼んで 糞ゲーの200ファイル翻訳させてる

事前学習重みと英日 SFT終わった後、会話がちゃんと成り立ったらとりあえずHFに150Mくらいのサイズのsafetensorsを公開して、llama.cppフォークした自分のリポジトリでOpenMythosのtrainingで作った safetensorsをgguf化するpython部分までは公開しよーとおもってるのだけど。需要がなぁｗ

forgeNEOにまたTIPO入れようとして、llama_cpp_pythonを削除して最新版をインストールしたらエラーに… 削除前のバージョンを改めてインストールしようとしたらそれもエラーになってオワタか？と思ったけどエラーっぽいのが出たもののインストールはできてるようで、生成もできて助かったｗ

返信先:@kinkuman_net他1人うちには 20B 以上の子はいません。いたことがあってもllama.cppの設定はコメントアウトで残してあります。 既存のものも全部コメント入ってます。 windows , torch - cu130 cp311/312しかいません。 WSL python 3.7と 3.10 だけ。 (venv) pip uninstall torch torchaudio (venv) pip

llama-cpp-python で漢字と英語の読み仮名を生成する方法書いた！ qiita.com/vipper36/items…

融通利かねぇからバイバイ Llama-server お帰り Llama-cpp-python 結局Llama-serverではやりたい事が何一つ出来なかった ただただ時間を無駄にした こう言う時のためにコードはコメントアウトして作業するってもんだ 元に戻すのは簡単 x.com/ToMo1278/statu…

MoeでビルドしたGGUFなら動く可能性が高い。 自分で最新のllama-cpp3.23と最新のllama-cpp-pythonをかけあわせビルドにも二日かけチャレンジしたがうまくいかなかった。 llama-cpp-pythonの対応を待とう。 これだけでもまったく界隈に情報ないから大ヒントでしょ？

llama-cpp-python ビルド済みwhl ただしMTP非対応 github.com/dougeeai/llama…

Good Bye Llama-cpp-python Hello Llama-server 最初からこうしてれば良かったなぁ～ まぁ、土台はさほど壊さずに行けるんで 徹夜するぞぉ～ なんて事はしません しっかり頭にイメージ出来てるんで 明日やります Hy-MT2-1.8Bの1.25bit使ってみたいんだもん