約3件1ページ目
12時間前 -PythonはUbuntu上の仮想環境、llama-serverはDocker Engineで動かします。 この記事では、配布するソースの使い方と、各処理を分けた理由を説明します。実行した検証と未 ...
6時間前 -Ripple には llama.cpp 用の GGUF のほか、コミュニティの MLX 版もある。frogggias の MLX 4bit は safetensors 合計で約36.4GB、8bit は約68.8GBである。
19時間前 -Hacker News では、GPU なしで巨大なモデルを動かすツール llama-modchip が上位に入りました。GitHub のトレンドでは、GPU 向け Kubernetes の管理基盤 nvke と、長い ...