ポスト

metaのllama3:70bをローカルで動かそうと思ったら、GPUメモリが64GBとか必要なのかな。 AppleSilliconのMacならUnified Memory Architectureだしメモリも大量に積めるので、それなりに動くのなら現実的な価格で買えそう。それでも高いけど。

メニューを開く

Y.HIRANO@Y_Hirano

みんなのコメント

メニューを開く

なるほどMacならUnified Memory Architectureだし、推論ならいけるのか。 note.com/erukiti/n/n58a…

Y.HIRANO@Y_Hirano

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ