llama-cpp-python単なるCPU環境でも環境構築大変だな。--extra-index-urlつければpipでインストールできるが、実行時にllegal Instructionでる。 自分でビルドすれば行けたが面倒。llama-serverにするかな。

llama-server、試験導入成功で付属GUIで立ち上げたのだが、流石はC言語ベース、桁違いに早いぞ！ llama-cpp-pythonでなく最初からこれベースで作ってれば良かった、MTP対応、複数パイプライン処理。 api接続で外部からも呼べる。 #llamaserver pic.x.com/DIx6HnCkWH

オリジナルのembedding_serverをllama-cpp-pythonからllama-cpp-server移行に合わせ、pythonからrustへ書き換えてる。 なんかわくわくするね。 次元数改変はネットワーク管理者に許可とれと明示しておこう。 #Rust　#AI Rustでベクトルデータベースを自作して学んだこと | Tech.blog

融通利かねぇからバイバイ Llama-server お帰り Llama-cpp-python 結局Llama-serverではやりたい事が何一つ出来なかった ただただ時間を無駄にした こう言う時のためにコードはコメントアウトして作業するってもんだ 元に戻すのは簡単 x.com/ToMo1278/statu…

Good Bye Llama-cpp-python Hello Llama-server 最初からこうしてれば良かったなぁ～ まぁ、土台はさほど壊さずに行けるんで 徹夜するぞぉ～ なんて事はしません しっかり頭にイメージ出来てるんで 明日やります Hy-MT2-1.8Bの1.25bit使ってみたいんだもん