中身を見ずに悪用を見つける OpenAIが会話を残さず監視する方法

3行まとめ

• ZDRは、送った文章も応答も処理が終われば残らない提供形態です
• 深刻な危険は1回の会話に現れず、複数回を並べると見えてきます
• 鍵は顧客が持ち、OpenAIには活動の種類を示す信号だけが届きます

何が起きたか

OpenAIが Private Safety ProcessingPrivate Safety Processing関連する複数のやりとりを横断してパターンを検知しながら、OpenAIの担当者に内容を見せない仕組み。いまはプレビュー段階。用語集でこの語を見る のプレビューを公表しました。API顧客向けの Zero Data Retention（ZDR）Zero Data Retention（ZDR）対象のAPI顧客に対し、処理後にプロンプトと応答を保持しない提供形態。用語集でこの語を見るを保ったまま、悪用の兆候を見つける仕組みです。

ZDRは、処理が終わればプロンプトも応答も残さない約束です。担当者が中身を見ることもありません。企業顧客のデータは、明示的に希望しない限り学習に使われません。

これまでのZDR対応の安全システムは、やりとりを1件ずつ評価していました。新しい仕組みは、関連する複数のやりとりを横断してパターンを探します。

それでも中身は担当者に見えません。現在は一部の顧客とテスト中で、9月に提供を開始し、技術白書も公開する予定です。

なぜ難しい・何がすごいか

深刻な危険は、1回のやりとりだけでは判別できません。悪意ある使い方は、防御を何度も突く、複数のアカウントに分散する、ふつうの研究のように見せかける、といった形で現れます。

エージェントに長い作業を任せる場合も同じです。止めろと言われたのに動き続ける、といった逸脱は時間をまたいで姿を見せます。作業が長く複雑になるほど、広い文脈が正当な利用と悪用を分ける材料になります。

ここに板挟みがあります。文脈を広く見るほど検知はできますが、そのぶん内容を預かる必要が出てきます。

最近のフロンティアモデルの提供では、安全監視のために機微な内容の保持を顧客に求める形も出ていました。金融の記録、健康のデータ、未公開の事業計画、独自の研究。こうした情報を扱う組織には、その要求が自分たちの義務と衝突します。

たとえ話

郵便局の仕分けを思い浮かべてください。手紙の封は開けません。それでも、同じ差出人が短期間に大量の宛先へ送っている、といった偏りは外側から分かります。

異常が見つかったとき上に上がるのは「不審な送り方があった」という一行だけです。文面は誰も読んでいません。返る信号の粒度はこれに近いものです。

用語ミニ辞典

• Zero Data Retention（ZDR）: 対象のAPI顧客に対し、処理後にプロンプトと応答を保持しない提供形態。
• Private Safety Processing: 関連する複数のやりとりを横断してパターンを検知しながら、OpenAIの担当者に内容を見せない仕組み。いまはプレビュー段階。
• 安全信号: 危険を検知したときにOpenAI側へ返る、活動の種類を示す限定的な情報。
• 顧客が管理する鍵: OpenAIのインフラに内容を置く場合の暗号鍵。OpenAI側は複製を持たない。

技術者向けの深掘り

置き場所は2通りです。1つはZDRの通常形で、顧客の内容は顧客が管理するインフラに置かれたままになります。

もう1つは開発中の選択肢で、OpenAIのインフラに保存します。ただし暗号化の鍵は顧客が握ります。OpenAI側は鍵の複製を持たないため、保存された内容そのものには到達できません。

自動処理は、どちらの置き場所でも同じように働きます。危険を検知したとき、OpenAIに届くのは活動の種類を示す限定的な信号です。対処が必要かどうかの判断は、この信号をもとに行われます。

フラグが立っても担当者に内容は渡りません。アラートや処分の調査は、顧客が自分のシステム上の情報で行います。異議を出す、正当な活動だと説明する、確認済みの悪用の調査に協力する。

そうしたいときに限り、顧客が自分の判断で情報を共有します。

これは自分に関係ある？

• 企業でAPIを使う人: 安全監視のために内容の保持を求められる、という取引以外の道が示されました。提供開始は9月の予定です。
• 実装や監査に関わる人: 鍵の管理と信号の範囲が肝になります。仕組みの詳細は9月の技術白書を待つことになります。
• それ以外の人: 今回の対象はAPI顧客の運用です。ただし「中身を預けずに安全を確かめる」という設計は、これから他の場面にも広がる論点です。