AIがAIを改良し始める前に OpenAIが安全基準づくりを米国に求める

3行まとめ

• OpenAI が、フロンティアAIフロンティアAI能力ベンチマークで測って最先端に位置するAIモデルと、その開発者を指す呼び方。用語集でこの語を見るの技術標準を米国主導で作るよう求めました。
• 焦点は RSI です。AI がAI研究を担い、自らを改良していく進み方を指します。
• 標準に免許や発売前審査は含めず、法律に取り込むかは各国政府が決めます。

何が起きたか

OpenAI が、最先端のAI開発に共通の技術標準を作るよう米国に求めました。標準が定めるのは3点です。AIの能力の測り方、リスクの評価、安全対策が十分かどうかの判断基準をそろえます。

足場は2つあります。1つは、日本を含む10か国に置かれたAI安全研究所の国際ネットワークです。もう1つは米国の CAISICAISI米国の Center for AI Standards and Innovation。2024年に国際的な測定・評価のネットワークを立ち上げました。用語集でこの語を見る（AI標準・イノベーションセンター）です。

CAISI は2024年、AIの測定と評価で各国の公的機関が協力する国際ネットワークを立ち上げました。この枠組みを土台にする案を OpenAI が示しました。

OpenAI は、この技術標準を免許や発売前の審査にはしないと明記しました。法律に取り込むかどうかを決めるのは各国政府です。

なぜ難しい・何がすごいか

難しさの中心は RSI です。recursive self-improvement、日本語で再帰的自己改良を指します。AI が次の世代のAIを開発する作業を引き受け、その成果でまた自分を改良していく進み方です。

OpenAI は、完全に自律したRSIは今日は起きていないと書きました。安全にできると分かるまで追わないとも宣言しています。

各国がばらばらに規則を作ると、OpenAI が挙げた3つの問題が起きます。

• 分断: 評価方法・報告義務・インシデントの定義が国ごとに食い違い、証拠を突き合わせられなくなります。
• 集団行動: 各国が単独で動くと、どの国も望まない結果に行き着きます。
• 能力の偏り: フロンティア開発と専門知識が世界に均等に分布していないため、前の2つが悪化します。

この3つの問題はオープンモデルにもクローズドモデルにも当てはまる、と OpenAI は書いています。

たとえ話

OpenAI 自身が引き合いに出したのは航空と金融安定の分野です。どちらの分野でも、各国は共通の技術基準と信頼できる連絡経路を作りながら、自国の権限は手放しませんでした。

物差しは各国で共通にし、法律への組み込み方は各国が決めます。フロンティアAIでも同じ形が取れる、というのが OpenAI の説明です。

用語ミニ辞典

• RSI（再帰的自己改良）: AI が次世代のAI開発を担い、その成果でさらに自分を改良していく進み方。英語は recursive self-improvement。
• フロンティアAI: 能力ベンチマークで測って最先端に位置するAIモデルと、その開発者を指す呼び方。
• CAISI: 米国の Center for AI Standards and Innovation。2024年に国際的な測定・評価のネットワークを立ち上げました。
• アラインメント: AIの振る舞いを人間の価値観に沿わせ、人間の制御下に保つための研究領域。
• 報告のしきい値: どの深刻度からインシデントを報告するかを決める線引き。

技術者向けの深掘り

OpenAI が標準の対象に挙げたのは3つです。

• RSI に関わる進展の評価。AI企業の内部で自律的な研究がどれだけ動いているかを測ります。
• 自動化されたAI研究に対する人間の監督。どの処理が走ったら即座に人間のレビューを入れるかを決めます。
• インシデントの分類・追跡・報告・対応。深刻度のレベルと報告のしきい値報告のしきい値どの深刻度からインシデントを報告するかを決める線引き。用語集でこの語を見るを各国で共通にします。

OpenAI は自社の2つの成果を、この3つへの最初の寄与に位置づけました。研究加速に関する報告書と、誤アラインメントアラインメントAIの振る舞いを人間の価値観に沿わせ、人間の制御下に保つための研究領域。用語集でこの語を見るの報告フレームワークです。

標準の作り方にも条件を付けています。意見を集める相手は、オープンモデルとクローズドモデルの開発者、独立した技術専門家、学術界です。

特定の企業・国・ビジネスモデルを有利にする設計を避けるよう求めました。新規参入者やオープンウェイト開発者の競争を不利にしない点も明記しています。

連携先には ISO と Frontier Model Forum を挙げました。Agentic AI Foundation と Open Secure AI Alliance も連携先です。国際標準を現場の評価につなぐ実務仕様は Appia Foundation が作っています。

これは自分に関係ある？

AIを仕事の道具として使う人に、すぐ届く変化はありません。OpenAI が求めたのは技術標準で、モデルの発売を止める仕組みは含みません。

モデルを開発する人には、フロンティアかどうかを能力ベンチマークで測る線引きと、インシデント報告のしきい値が関わります。標準ができれば、2つの定義が国をまたいで揃います。

制度の動きを追う人が見る先は、米国と中国の対話です。OpenAI は両国の対話を前向きな一歩と呼び、近く予定されている協議に触れました。標準そのものに強制力はなく、各国が法律へどう取り込むかで効き方が変わります。