ポスト
社員が生成AI驚き屋に扇動されることを防ぐ仕事もしているので、Google I/Oも一通り見たが、Geminiのローンチで5-shotとCoT@32でMMLU比較して、さんざん叩かれからか、ProとFlashではその表記を消しとるやんけ！ULTRAのスコアは5-shotのものだから、そうだと信じて読むが、そういうとこやぞ感がスゴイ pic.twitter.com/bkAICbnobf
メニューを開くみんなのコメント
メニューを開く
Google I/O現地で見ていますが、OpenAIの先日の発表を含め、LLMの性能はいいところだけをとりあえず言う側面はあるので冷静に見るべきで、むしろそのLLMを活用することで新しい付加価値体験を作り出せうるかでみると面白そうでした。そういう意味で Google WorkSpace での活用はわかりやすいです。
メニューを開く
Gemini 1.5 ProとFlashのcontext windowのサイズはインパクトがある。infini-attention的なもののおかげなんだろうけど、GeminiのNeedle in a haystackの精度は圧倒的で他モデルに無い特徴であり、ユースケースに応じて強力な選択肢になりうる。 arxiv.org/abs/2404.07143 blog.google/intl/ja-jp/com…… pic.twitter.com/CMd59mV0jx
