ポスト

Google DeepMindから、ロングコンテクストを用いた応用の包括的なリサーチ結果が公開された。 図のように、タスク特化の仕組みを用意するのではなく、コーパスをそのままコンテクストに埋め込んでテキスト検索、RAG、SQLなどの様々なタスクを実行する。 結果は特化型システムに劣らない性能だった。 pic.twitter.com/qXpCCK6hqf x.com/arankomatsuzak…

メニューを開く
Aran Komatsuzaki@arankomatsuzaki

Google presents Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? Long-context LM: - Often rivals SotA retrieval and RAG systems - But still struggles with areas like compositional reasoning repo: github.com/google-deepmin… abs: arxiv.org/abs/2406.13121 pic.twitter.com/Mg4rOHig3h

K.Ishi@生成AIの産業応用@K_Ishi_AI

みんなのコメント

メニューを開く

この論文では、Gemini 1.5 ProやGPT-4oなどの長大なコンテクストを扱えるモデルをLong-context language models (LCLM)と呼び、これらがタスクのための学習を施されたわけではないのに、検索やRAGなどのタスクで特化型システムに匹敵することを示している。 言語モデルのポテンシャルの高さがわかる。

K.Ishi@生成AIの産業応用@K_Ishi_AI

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ