ポスト

長文コンテキストに対応した大規模言語モデルの実運用における課題と解決策 ビデオ解析やプロジェクト単位のコーディングなど、長時間のコンテキストを扱うアプリケーションでは、長文コンテキスト(10万〜1000万トークン)を処理できるTransformerベースの大規模言語モデル(LLM)の活用が進んでいます。

メニューを開く

科学雑学@scienceknow1

みんなのコメント

メニューを開く

しかし、長文コンテキストLLMを実際に運用する際には、GPUメモリ(HBM)の制約などにより、短文コンテキスト(4000トークン)モデルと比べて多くの課題が生じます。 エジンバラ大学のYao…

科学雑学@scienceknow1

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ