ポスト

FPGA (AMD Zynq Ultra-scale+ VU9P)に高位合成(Vitis HLS)でLlama2を実装して57.11 TOKS/S、GPUの14倍以上の電力効率を実現したらしい。 ソースコードもオープンソースで公開。論文にはVitis HLSでの高速化のテクニックも解説されている。

メニューを開く
Eugene Ware@EugeneWare

I love open source. @karpathy open sourced llama2.c - it's been compiled into an FPGA running LLaMa 2 for energy efficient inference 🤯 -you never know what'll happen when you put great code into the commons! Arxiv: arxiv.org/abs/2405.00738 FPGA Project: github.com/HLSTransform/s…

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ