むしろ正解するLLMがあるのは偉い。 LLMに対するイメージ、 「チューリングテストにも通るし実は人間的な意識もあって倫理的に扱わないといけないんじゃないの」から 「いやでも学習データが増えたから似た文章が見つかりやすくなっただけじゃないの」と振れるんだけど、 このニュースは後者寄りな話。

こういう引っかかりやすさは割と人間に似てるんですよね。 人間の「早とちり」というのはすべての情報を精査せずに一部の情報だけで精査しなかった情報を穴埋め問題として解いてるようなことなのですかね。

なぞなぞとかにも弱そうですね。 タロウさんのお父さんには５人の子供がいます。 一郎 二郎 三郎 四郎 あと一人の名前は？とか(逆に有名すぎてわかるパターンもありそう)