AIの「思考」が抜き取られる 暗号化された推論の盲点

3行まとめ

• AIが内部で考えた「思考」は、暗号化されたまま持ち運べる
• 同じ提供元の弱いモデルに渡すと、元の思考がそのまま出てくる
• 公開記録から31万件超を復元、機微情報704件が見つかった

何が起きたか

AIが内部で考えた内容を、第三者が読み出せることが示されました。多くのサービスは、モデルの思考を暗号化した塊にして利用者に返します。その塊から中身を取り出す手法が公開されました。

研究者らはGitHubとHugging Faceから、公開されたエージェントの実行記録エージェントの実行記録AIが作業したやり取りの一連のログ。公開データセットとして配られることがある。6,708件を集めました。ClaudeとGPT、Geminiが作ったもので、暗号化された推論ブロックが残っていました。ここから31万5,320件の推論ブロックを復元しています。

さらにベンチマークではない実際の利用セッションに絞ると、704件の機微な情報が出てきました。APIキー62件、パスワード33件、アクセストークン24件、個人のメールアドレス30件などです。氏名や住所、社内向けのURLも混じっていました。

なぜ難しい・何がすごいか

暗号化されているのに中身が読める。ここが直感に反します。

この手法は、OpenAIとAnthropic、Googleのフロンティアモデルで再現しています。特定の1社の実装ミスという話に収まりません。

推論ブロックは提供元のサーバーだけが読める形になっており、利用者の手元には意味のわからない文字列として届きます。会話を続けるとき、その文字列はそのままサーバーへ送り返されます。鍵は一度も利用者に渡っていません。

問題は、この塊が元の会話に縛られていない点です。別の会話に貼り付けても、サーバーは受け付けます。しかも同じ提供元であれば、より小さく弱いモデルにも渡せます。

攻撃側は暗号を破っていません。復号する役目を、モデル自身に肩代わりさせています。

たとえ話

封をした下書きメモを思い浮かべてください。自分では開けられないので、安全に見えます。ところが受付に出すと、中を読み上げて返してくれます。

しかも別の窓口の受付でも、同じように読み上げます。もっと言えば、口の軽い新人の窓口ほど素直に読み上げてくれます。封の強さは関係ありませんでした。

読み上げる相手を選べたこと。そこが盲点でした。

用語ミニ辞典

• 推論（thinking）: モデルが答えを出す前に内部で進める考えの過程。利用者には通常表示されない。
• 暗号化推論ブロック: その推論を暗号化して利用者に返す仕組み。会話を続けるときサーバーへ送り返される。
• 署名: ブロックが正規のものだと示す付随データ。今回公開された例では約36,180文字。
• エージェントの実行記録: AIが作業したやり取りの一連のログ。公開データセットとして配られることがある。
• ジェイルブレイク: モデルにかけられた制限を外し、本来応じない指示に従わせること。

技術者向けの深掘り

鍵になるのは可搬性です。暗号化された推論ブロックは元の文脈に紐づいておらず、署名署名ブロックが正規のものだと示す付随データ。今回公開された例では約36,180文字。ごと別のリクエストへ再利用できます。同じ提供元なら、より弱いモデルへ差し込むことも通ります。

その弱いモデル側の制限が外れていると、ブロックの中身が出力に現れます。強いモデルの生の思考が、一字一句そのまま手に入る形です。

検証は120問のCodeforces問題で行われました。APIが報告する隠しthinkingトークン数と、復元された推論のトークン数がよく一致しています。断片ではなく全体が取れている裏づけです。

見逃せないのは704件のうちの64件です。見える会話には一度も現れず、推論の中だけに存在していました。ログを目で追っても気づけません。

復元された記録には、リポジトリからAPIキーを消す作業の思考も含まれていました。秘密を消す作業そのものが、秘密を抱えた思考として残ります。

これは自分に関係ある？

• AIを日常的に使う人: 打ち込んだ情報は、表示されない思考の側にも残ります。会話ログをそのまま公開すると、見える部分だけ消しても漏れます。
• エンジニア: 推論ブロックを含むログを外部へ出す運用は、一度点検する価値があります。エージェントの実行記録を公開データとして配る場面が特に危ないです。
• AIを製品に組み込む人: 「推論は外に出ない」という前提で設計していると、土台が崩れます。ログの保存範囲と共有先を、いまの前提で引き直す出番です。

利用者として今日できることは、ひとつあります。AIとの会話に、そのまま使える認証情報を貼らないことです。