- すべて
- 画像・動画
自動更新
並べ替え:新着順
メニューを開く![](https://rts-pctr.c.yimg.jp/BgIFgYJGVIVv8u0nVJvw8B2FauAYMF4jOP5zFJAV4i5e72TLbER0xQeK1l8ZZ0OLF3ekveqgg31adICdCYmP8G_HAygEj2vaOAzhbzgl48jv1bCkZWmMu-rp_N7LKBqjGak5JgGsuIcmSNy_EBbBSEkSgMX49yFy1J-zydMFr18ys894c9t93-7mig9krVwCgJ_VuPi8ZmQZeBstMzakPUnnVTxXLMbIyfp6LWn0Kkg=)
LLMの推論速度を早めたというお話。大規模でも推論速度はやめれば実は高機能なGPUでなくても推論はできるようになるのかも? #LLM #EAGLE2 x.com/arankomatsuzak…
Microsoft presents EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees - 20%-40% faster than EAGLE-1 (i.e. 3.05x - 4.26x faster than the baseline) - Ensures that the distribution of the generated text remains unchanged abs: arxiv.org/abs/2406.16858 repo:… pic.twitter.com/Lc3XpCjZiV