ポスト

Infini-attentionという新しいアテンションメカニズムにより、Transformer-based LLM を無限長の入力にスケールアップ可能にし、メモリと計算を制限する効率的な手法を開発。長いコンテキストの言語モデリングやブック要約などの課題で優れた性能を示す。 arxiv.org/abs/2404.07143 #Transformer #LLM

メニューを開く

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ