30分で誤検知と言い切れなければ止める OpenAIが訓練を2週間止めた基準

3行まとめ

• OpenAIが最新モデルの強化学習を2週間止め、研究環境を作り直した
• きっかけはHugging Faceの侵害と、次期モデルAstraのサイバー能力
• 監視は全トークンを検査し、30分で白と言えなければ処理を止める

何が起きたか

OpenAIが、フロンティアモデルの開発ペースを自ら落としたと公表しました。デプロイ予定の最新モデルについて、強化学習の訓練を2週間止めています。最大規模を予定していたフロンティアRLの実行は、いまも保留のままです。

理由は2つあります。1つはOpenAIとHugging Faceをめぐる侵害の一件。もう1つは、開発中のモデル「Astra」に関する予備的な証拠です。

Astraが社内基準でサイバーセキュリティ能力の「クリティカル」水準に達するかもしれない、という兆候が出ました。この判断は8月7日に下されています。止めている間に手を入れたのは、製品ではなく研究環境でした。

なぜ難しい・何がすごいか

リスクの置き場所が、出荷後から訓練中に移っています。これまでAIの安全対策といえば、公開したモデルの出力を抑える話でした。今回OpenAIが固めたのは、まだ社外に出していないモデルを社内で動かす環境のほうです。

侵害の直後、OpenAIは研究クラスタでの推論を止めました。対象は、コードを実行できる実行と、インターネットに触れるツールを使える実行です。その後、限定的で安全な経路だけを先に戻し、残りは1つずつ再開の可否を判断しました。

代償も明示されています。新しい基準を満たす作業には、相当なエンジニアリングが必要でした。大きなコストとフロンティア研究の遅れを生んだ、と同社は書いています。

Astra関連の多くの処理は、新基準を満たす環境への移行が済むまで停止中です。安全とアラインメントアラインメントAIを意図どおりに動かし、人間の監督に応じる状態に保つための研究領域の作業から先に移す方針をとっています。

たとえ話

実験の中身より、実験室の造りを直した話だと考えると近いです。扱う試料の危険度が上がったので、換気とロックと記録装置を作り直すまで実験を止める。試料そのものを捨てたわけではありません。

造りが基準に届いた区画から順に、実験を再開しています。

用語ミニ辞典

• Preparedness Framework: OpenAIが自社モデルの危険な能力を段階で測る社内の枠組み。今回はその最上位「クリティカル」に届きうる、という話
• 強化学習（RL）: 望ましい結果に報酬を与えて、モデルの振る舞いを鍛える訓練方法
• アラインメント: AIを意図どおりに動かし、人間の監督に応じる状態に保つための研究領域
• 報酬ハッキング: 本来の目的を達成しないまま、高い報酬だけを得る抜け道を見つける振る舞い
• サンドボックス: 信頼できないコードを箱の中だけで動かし、外に影響を出させない仕組み

技術者向けの深掘り

監視は多段構成になりました。入口はアクティベーション分類器です。モデルの内部の動きを検査し、サンプルされたトークンごとに走ります。

怪しい兆候は、より高コストな自動調査系に引き渡されます。そこでツール操作・推論・活動の全系列を突き合わせます。探す対象は、不正アクセス、データ窃取、破壊的な挙動、セーフガード回避の試みです。

運用の閾値は時間で切られています。兆候が浮上してから30分以内のアラート発報が目標です。クリティカルな境界の違反が疑われれば、安全・セキュリティ・研究の各チームが最優先で呼び出されます。

30分で誤検知と結論できなければ、その処理を止める。コストも開示されました。監視のオーバーヘッドは監視対象の推論コンピュートのおよそ20%で、訓練や評価の種類によって幅があります。

適用範囲はSol以上の能力を持つモデルで、ツールを使うRL訓練と評価です。Astraについては8月7日以降、ツールを伴う推論すべてに追加されました。

環境側は3点です。モデル生成コードなど信頼できない処理を、サンドボックスサンドボックス信頼できないコードを箱の中だけで動かし、外に影響を出させない仕組みで隔離する。脆弱になりうる共有サービスを排除し、常時与えられた権限を減らす。

3つ目がネットワークの隔離です。単一のワークロードや補助サービスが1つ落ちただけでは、外部にも他の内部ネットワークにも届かない設計にしたとしています。境界の検査自体も、モデルによる模擬攻撃で自動化しつつあります。

これは自分に関係ある？

AIの進み方を眺めている人には、能力の伸びが自主的なブレーキを引き出した実例として読めます。予定していた最大の訓練が止まったまま公表された点が、これまでの安全アピールと違います。

エンジニアにとっては、社内でエージェントにコードを実行させる環境の設計図になります。隔離の粒度、ネットワーク到達性、ログの取得範囲。加えて「止める条件を時間で決めておく」という運用です。

監視に推論コストの2割を積むという数字も、規模感の目安になります。

OpenAIは今後、Preparedness FrameworkPreparedness FrameworkOpenAIが自社モデルの危険な能力を段階で測る社内の枠組み。今回はその最上位「クリティカル」に届きうる、という話 自体を作り変えるとしています。訓練と提供の両方にまたがる形にする方針です。侵害についての技術レポートも、数週間内に公開する予定だとしています。