棚は埋まっているのに鍵が見つからない LLMが事実を間違える本当の理由

3行まとめ

• Gemini-3-Pro と GPT-5 は事実の95〜98%を内部に持っています
• それでも26〜34%は直接答えられず、思考を挟んでも11〜12%は残ります
• 珍しい事実と逆向きの問いで想起が落ち、選択肢なら選べます

何が起きたか

Google Research が2026年8月12日、LLMの事実誤りを2種類に切り分ける枠組みを公開しました。1問ごとの正解率を追うのをやめ、事実1件ごとに状態を判定します。覚えていないのか、覚えているのに取り出せないのか。

評価台には WikiProfile を使いました。Wikipedia から取った2,150件の事実に、1件あたり10問を紐づけたベンチマークです。13個のLLMを思考ありと思考なしで走らせ、集めた回答は約450万件です。

最先端モデルの誤りは、知識の欠落よりも取り出しの失敗でした。著者らはこれを「空の棚」と「なくした鍵」と呼び分けています。多いのは鍵のほうです。

なぜ難しい・何がすごいか

正解率だけを見ていると、打つべき手が決まりません。保持の失敗なら、モデルを大きくしたりデータを増やしたりする方向になります。想起の失敗なら、事後学習や推論時の工夫でまだ伸びます。

切り分けの鍵は、質問の出し方を変えることです。保持を測るときは、事前学習で出てきそうな文脈に置いて続きを書かせます。答えは見せません。

知っているかどうかは、言い方を変えた複数の問いで確かめます。「AはBだ」という事実に対し、Bを答えさせるのが直接の問い、Aを答えさせるのが逆向きの問いです。

想起が崩れる条件も見えています。学習時に出会った文脈や語順から問いが離れるほど、取り出しは難しくなります。珍しい事実と逆向きの問いが弱点になるのは、そのためです。

たとえ話

図書館で言えば、蔵書はそろっているのに書架番号が分からない状態です。本は確かにある。だが手元に出てこない。

棚を増やしても、この困りごとは消えません。

司書に「赤い表紙で、著者は物理学者」と手がかりを渡すと出てくることがあります。これが思考にあたります。候補を数冊並べて見せれば、たいてい正しい1冊を指せます。

用語ミニ辞典

• encoding（保持）: 事実がパラメータの中に入っている状態。事前学習に近い文脈に置くと再現できるかで測ります。
• recall（想起）: 手がかりなしで、その事実を自力で答えられること。思考を挟まずできる場合を direct recall と呼びます。
• recognition（再認）: 選択肢の中から正しいものを見分けられること。ゼロから書き出すより易しい課題です。
• 逆転の呪い: 「AはBだ」を学んだのに逆向きに聞くと答えられない現象。今回は想起の問題だと位置づけ直されました。

技術者向けの深掘り

WikiProfile の10問は内訳が決まっています。保持に2問、知識に4問、多肢選択の再認に4問です。答えが一意になる問いだけを残し、検索エンジンで裏を取り、最後に人が確認しています。

事実は5つの状態に分類されます。保持の失敗、想起の失敗、直接の想起、思考ありでの想起、保持なしでの推論です。最後は、思考を有効にしたモデルが別の事実をつないで当てる場合を指します。

逆向きの問いは、自由記述では直接の問いより難しく、多肢選択では難しさが消えます。選択肢があれば見分けられるなら、双方向の知識そのものが欠けているという診断は成り立ちません。珍しい事実も同じ形で、保持率の差は小さく、想起の差が大きく開きます。

思考の効き方には偏りがあります。思考に最適化されたモデルでは、保持済みだが直接答えられない事実の40〜65%が回復しました。保持されていない事実には5〜15%しか効きません。

Gemma 3 では、大きくするほど保持の失敗が激減し、想起の失敗は残りました。思考は多段推論の道具というより想起の補助として働いています。ただし計算コストがかかり、発動の判断基準は未解決のままです。

保持が飽和に近い以上、事実性の次の伸びは規模の拡大より利用の改善から来る、と著者らは見ています。

これは自分に関係ある？

• LLMを使う人: 出てこなかった答えを「知らない」と決めつける前に、聞き方を変えるか選択肢を添える手があります。
• プロダクトを作る人: 事実誤りへの対処として、外部検索を足す前に取り出し方の改善で届く範囲があります。
• 評価する人: 正解率ひとつでは、データ不足と取り出し不良が同じ数字に潰れてしまいます。