ポスト

いや、やっぱMetalは仕事していないみたいだ。c4ai〜はn-gpu-layersを1以上にしないとGPU使わないんだけど、これまでは0で、1以上にするとMETALが初期化できないエラーが出る。

メニューを開く
Isamu "ganmo" Nakamura @rhymewand@sam_nack

何とかMacでtext-generation-webui動くようになったけどまだ設定は見直す必要がありそう。M1Max 64GBで35Bのc4ai-command-r-v01-Q8_0.ggufが大体0.8t/s。使用済みメモリ30GBちょいなのに、Pythonが160GBも使ってるってどういう計算?何か勘違いしてるのか。Metalはちゃんと仕事しているのだろうか?

Isamu "ganmo" Nakamura @rhymewand@sam_nack

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ