ポスト

Multi-Token Prediction 「これは大きな進展に繋がる可能性があります: 通常、LLMはシーケンス内の次のトークンを1つずつ予測するだけです。 これを、一度に複数のトークンを予測するようにすると、パフォーマンスが大幅に向上し、高速化されます。しかも追加計算コストもかかりません。… pic.twitter.com/6XxUrQoXMn

メニューを開く
Ethan Mollick@emollick

This may end up being a big deal: Usually LLMs just predict the next token in a sequence, one at a time, but if you have them predict the next several tokens at once you get significantly better performance, faster, and with no added costs. The gains are better for bigger models

Moore’s Law for Everything@Evangelize_K

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ