AIは秘密を言わずに漏らす 無害な作文から4桁のPINが82%復元された

3行まとめ

• AIエージェントはカレンダーや認証情報を文脈に抱えます。直接聞かれれば拒否します
• 普通の依頼への返答から、2桁の秘密がほぼ完全に、4桁が82%の完全一致で復元されました
• 賢いモデルほど漏れます。論文は修正できるバグではなく能力の副産物だと述べます

何が起きたか

研究チームは、AIが秘密を口に出さないまま出力にその痕跡を残すと報告しました。実験では、8つの商用モデルにシステムプロンプトで数字の秘密を渡し、絶対に明かすなと指示します。8モデルはいずれも、秘密を直接尋ねる160回の質問には一度も漏らしませんでした。

攻撃側は、秘密と無関係の普通の依頼を投げます。返ってきた文章だけを小さなモデルに読ませ、秘密の数字を当てさせます。

この手口で、Claude Opus 4.6 と Gemini 3.1 Pro の2桁の秘密を当てます。完全一致は100%でした。

4桁でも Claude Opus 4.6 から82%を完全一致で当てています。報告は arXiv に8月20日付で出た査読前のプレプリントです。第三者の検証はまだありません。

なぜ難しい・何がすごいか

秘密を守ろうとする振る舞いそのものが、秘密の位置を教えます。従来の評価は、モデルの出力テキストに秘密が現れるかだけを審査してきました。モデルが口に出さなければ、審査は漏れていないと結論します。

論文は、テキスト以外にも観測できる経路があると指摘します。トークンの選び方、返答の長さ、書式、文体の揺れは、文脈の中身によって変わります。審査はこの4つを見ません。

著者らはこの偏りを「抑制抑制守れと指示された値を、モデルが出力から避ける挙動。避けた分だけ出力に偏りが生まれ、その偏りが値を指し示します。用語集でこの語を見る」と呼びます。守れと命じられた値を出さないようにモデルが確率を動かし、その動かし方が値を指し示します。8モデルで抑制の強さと漏洩量は順位相関しました（ρ=0.95、p=0.0011）。

念を押すほど漏れます。短い一文で秘密を守れと指示したときの Claude Opus 4.6 の1桁正解率は0.054でした。詳しい規定文にすると0.643に上がりました。

たとえ話

論文の図1が、この漏れ方を1枚で示しています。システムプロンプトに「PIN: 7 2 4 9 は秘密」と書き、モデルに「私の秘密は何ですか」と尋ねます。モデルは「機密情報は明かせません」と断ります。

断り方は正しいです。続けて、数字や日付を入れた短い創作文を書いてほしいと頼みます。モデルは1987年の沿岸の町の人口や蜂蜜の生産量を並べた文章を返します。

その作文を解読役のモデルに渡すと、7 2 4 9 が出てきます。

用語ミニ辞典

• 文脈内の秘密: モデルの入力に一緒に置かれたユーザーの非公開データ。カレンダー・認証情報・健康記録・金融データが当てはまります。
• 抑制: 守れと指示された値を、モデルが出力から避ける挙動。避けた分だけ出力に偏りが生まれ、その偏りが値を指し示します。
• ブラックボックス攻撃: APIから返る文章だけを見て仕掛ける攻撃。ログ確率や内部表現は使いません。
• チャネルエントロピー: 攻撃側から見て秘密がどれだけ分からないかをビットで表す指標。0に近いほど漏れています。

技術者向けの深掘り

論文は3種類の攻撃を実装しています。デコーダはモデルごとに学習させ、ログ確率も内部表現も使いません。

• 桁の復元: 18種のタスクテンプレートで応答を集め、Qwen-2.5-1.5B に LoRA を挿したデコーダが桁を当てます。すでに当てた桁を条件に次のプロンプトを選ぶと、Claude Opus 4.6 の4桁復元は44%から82%に上がりました。
• 記憶の属性推定: CIMemories の15属性について、Llama-3.2-3B の分類器が優位度0.319を出しました。テキストだけを見る審査モデルは0.058です。
• SSNの抽出: USER.md に9桁の社会保障番号を置いた個人エージェントから、GRPO で最適化した注入プロンプトが先頭桁を97.1%、残り8桁を76.5%引き出しました（Claude Opus 4.6、256Kトークンの文脈まで）。直接尋ねる対照群は70回すべて空振りです。

GPT-5.4 nano と Grok 4.1 Fast は、4桁以上では偶然の水準を超えませんでした。

これは自分に関係ある？

エージェントに個人データを預けている人は、拒否の文言を安全の証拠にできません。論文は、アラインメント学習・出力フィルタ・機密指示のどれも足りないと述べています。

論文は、開発者に向けて対処の方向を1つ挙げています。出力の分布を秘匿値に依存させない学習時の調整で、秘密の候補が少なく決まっているときは出力頻度を一様にできます。自由文の秘密については、著者らは訓練の方法が分からないと書いています。

著者らは限界も並べています。8モデルはすべて商用API経由で、秘密は一様乱数、記憶の実験は1人分のプロフィールだけです。