ポスト

LLMの推論速度を早めたというお話。大規模でも推論速度はやめれば実は高機能なGPUでなくても推論はできるようになるのかも? #LLM #EAGLE2 x.com/arankomatsuzak…

メニューを開く
Aran Komatsuzaki@arankomatsuzaki

Microsoft presents EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees - 20%-40% faster than EAGLE-1 (i.e. 3.05x - 4.26x faster than the baseline) - Ensures that the distribution of the generated text remains unchanged abs: arxiv.org/abs/2406.16858 repo:… pic.twitter.com/Lc3XpCjZiV

dasaku-ai@dasakuai

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ