正しい記憶で答えを間違える 5つのメモリ手法すべてが記憶なしに負けた

3行まとめ

• 既存のメモリメモリ過去の会話を外部に保存し、次の質問のときに関係する部分を取り出して一緒に渡す仕組み。用語集でこの語を見る評価は取り出せたかまでで、その先を見ていない
• 正しい記憶が、前の手への固執と前提の持ち越しを生む
• Gemini では記憶なしの85.16%に対し、最良が71.17%だった

何が起きたか

Mengru Wang さんらのチームが、MemTrapBench というベンチマークを arXiv に出しました。査読前のプレプリントプレプリント査読を受ける前に公開される論文。第三者の検証を経ていない。用語集でこの語を見るです。測る対象は、メモリ機能がAIの答えを悪くする度合いです。

これまでのメモリ評価は、過去のやりとりを正しく抜き出し、保存し、取り出せるかを見てきました。MemTrapBench はその先を測ります。取り出した記憶が、いま解く問題の答えを崩していないか。

著者らはこの失敗を memory-induced cognitive traps と名づけました。問題は1,050問。2つのモデルに5つのメモリ手法を組ませて解かせています。

なぜ難しい・何がすごいか

罠になる記憶は、内容が間違っていません。前のやりとりで正しかった手順や前提が、そのまま記録されています。いまの質問とも意味のうえでつながっています。

それでも答えは崩れます。前にうまくいったやり方から離れられなくなる失敗を、著者らは Reasoning FixationReasoning Fixation前に成功した考え方に張り付き、別の解き方を探さなくなる失敗。用語集でこの語を見る と呼びます。前の場面だけで成り立つ前提をいまも真実として扱う失敗が、Belief DistortionBelief Distortion過去の場面で置かれた前提を、いまも成り立つ事実として扱う失敗。用語集でこの語を見る です。

結果は数字で出ました。Gemini では記憶なしの平均が85.16%、最良の EverMemOS が71.17%です。Qwen3-30B では81.83%に対し、LightMem が70.13%でした。

たとえ話

数字を組み合わせて24を作るゲームを想像してください。過去のやりとりには、足し算や掛け算で24にできた問題が並んでいます。次に出た数字は 4, 1, 1, 1 です。

四則演算では24に届きません。正解は 4! × 1 × 1 × 1 = 24 で、階乗を使います。記憶を渡さない Gemini は階乗を見つけ、渡すと四則演算を探し続けました。

用語ミニ辞典

• メモリ: 過去の会話を外部に保存し、次の質問のときに関係する部分を取り出して一緒に渡す仕組み。
• Reasoning Fixation: 前に成功した考え方に張り付き、別の解き方を探さなくなる失敗。
• Belief Distortion: 過去の場面で置かれた前提を、いまも成り立つ事実として扱う失敗。
• AdaptiveMem: 著者らが提案したプロンプト。取り出した記憶がいまの条件に合うかを確認させる。
• プレプリント: 査読を受ける前に公開される論文。第三者の検証を経ていない。

技術者向けの深掘り

1,050問は2分類・4シナリオに割れています。

• Reasoning Fixation: Cognitive Bias 350問、Task Boundary 350問、Trauma 150問
• Belief Distortion: Safety 200問

対話は18〜40ターンで、無関係な話を挟んで罠を埋めます。最後の質問は、前提の適用条件だけを変えます。「前のルールは無視して」のような明示的なリセット合図は除いてあります。

著者らは、原因が文脈の長さでないことを対照条件で確かめました。Task Boundary の部分集合から罠だけを抜くと、平均は94.39%でした。記憶なしの92.29%を上回っています。

同じ部分集合に罠を戻すと31.05%まで落ちます。緩和策の AdaptiveMemAdaptiveMem著者らが提案したプロンプト。取り出した記憶がいまの条件に合うかを確認させる。用語集でこの語を見る は、保存も検索も学習も触りません。推論時のプロンプトで、取り出した記憶がいまの条件に当てはまるか確認させます。

AdaptiveMem は Gemini で LightMem を14.9ポイント押し上げました。LongMemEval の点は落ちていません。

これは自分に関係ある？

メモリ付きのチャットを使う人には、心当たりのある挙動です。前の話を覚えているAIが、条件の変わった今回は外れた答えを返す。論文の主張に沿えば、記憶が正確でも起こります。

プロダクトにメモリを積むエンジニアには、評価の設計の話として関わります。取り出し精度の高さは、そのタスクの正答率を保証しません。記憶ありと記憶なしの両方で解かせて比べる欄は、手元の評価表にありますか。

報告はまだ査読を通っていません。