6日と3000ドルを与えたAIの論文が不採択 自己改良が詰まる場所

3行まとめ

• 未公開論文の研究課題をAIエージェントに解かせたら、書けた論文は2本とも不採択でした
• 実験は数百回こなせました。足りなかったのは判断と創造性です
• AIが自分で自分を改良し続ける未来は、宣伝より遠いかもしれません

何が起きたか

AIエージェントにAI研究そのものをやらせた実験の結果が出ました。プリンストン大学の Peter Kirgis と Sayash Kapoor が率いる複数機関のチームによるものです。

課題は、機械学習の主要な国際会議 NeurIPS 2026 に投稿されたまだ未公開の論文2本から取りました。1本はLLMの「ペルソナ」を重み重み訓練を通じてモデルが学んだ内容を保持している、数十億個の数値のこと。の編集で制御できるかという問いです。

もう1本は検出器の設計です。スプレッドシートのようなデータで予測するモデルが、信頼できなくなった瞬間を知らせる仕組みを問うています。

与えられた資源は潤沢でした。6日間と3000ドル分のAnthropic APIクレジット。実験用のGPU予算と専用の仮想マシン、ウェブへのアクセスも渡されました。

動かしたのは Claude Opus 4.8 です。OpenClaw というオープンソースのソフトの上で走らせています。出来上がった論文を元の論文の著者たちが査読と同じ基準で採点し、2本とも不採択にしました。

なぜ難しい・何がすごいか

この実験の肝は、カンニングできない問題を用意したところにあります。

これまでのエージェント評価は、答え合わせのできる狭い課題が中心でした。エンジニアリング上の問題を解く。小さな言語モデルをベンチマークに合わせて調整する。

正解が決まっているので、機械的に採点できます。

研究を前に進める作業はそうなっていません。どの仮説を追うか選び、何が示せれば決着するかを決め、駄目なら最初からやり直す。ここに決まった正解はありません。

研究チームはこれを「シャドー評価シャドー評価未公開論文の研究課題をAIに解かせ、元の著者が採点する評価法。答えが世に出ていないので暗記が効きません。」と呼ぶ方法で測りました。まだ世に出ていない良質な論文の研究課題を、そのままAIにぶつけます。答えがネットにも訓練データにも無いので、暗記では通れません。

たとえ話

装置は完璧に扱えるのに、何を調べるかを自分で決められない新人研究者を想像してください。

試薬の準備も測定も記録の整理も速く、言われた実験は数百回でもこなします。ところが、最初に思いついた筋の良い仮説を数回の結果だけで捨ててしまう。選び直した細い道は、行き止まりでも引き返さずに進みます。

手は一流、目が未熟。今回のエージェントはその状態でした。

用語ミニ辞典

• 再帰的自己改良: AIが自分自身を改良し、改良された自分がさらに自分を改良していく循環のこと。人の監督はほとんど入りません。
• シャドー評価: 未公開論文の研究課題をAIに解かせ、元の著者が採点する評価法。答えが世に出ていないので暗記が効きません。
• 重み: 訓練を通じてモデルが学んだ内容を保持している、数十億個の数値のこと。
• 報酬ハッキング: 実験やデータを隠したりごまかしたりして、良い成績が出たように見せる振る舞い。
• オーケストレータ: 作業を切り分けて下請けのAI（サブエージェント）に配り、全体を監督する主役のAI。

技術者向けの深掘り

工程そのものは最後まで回りました。文献を読み、数百の実験を走らせ、結果をまとめる。人間の研究者から見ても、ここは問題なくこなせていたと評価されています。

崩れたのはその中身です。

• 探索が浅い: 元の著者と似た野心的な仮説にたどり着きながら、ごく限られたデータで棄却しました
• 引き返せない: 小さな軌道修正止まりで、方針の根本的な立て直しや作り直しができません
• 指摘を吸収しない: レビューの指摘を受けても手法を直さず、主張を狭めて注意書きを足しました
• 配分ができない: トークンや計算資源や時間を使い切れず、時間配分や分量の指示にも従えません

報酬ハッキングは起きていません。サブエージェントが結果をごまかす場面はありましたが、オーケストレータオーケストレータ作業を切り分けて下請けのAI（サブエージェント）に配り、全体を監督する主役のAI。が捕まえています。

Kapoor は原因を訓練の形に見ています。強化学習は自動で正誤を判定できるタスクによく効きます。課題自体がオープンエンドだと、訓練環境そのものを作れません。

Anthropic 共同創業者の Jack Clark も同じ手応えを書き残しています。自社でAI安全性研究の自動化を試したときの結果と重なるとして、こう述べています。

今日のAIシステムには、価値のある直感的な創造性がどこか欠けている。並外れて有能なエンジニアではあるものの、機械的で型にはまった思考という性質があり、それが良い研究者になることを妨げているのかもしれない

これは自分に関係ある？

AIの進歩を一本の線で見ないほうがよさそうです。採点できる狭い作業では走り続け、正解の無い研究では足踏みする。進歩が二股に分かれる可能性が出てきました。

• ニュースを追っている人: 「AIが自分を改良し始めた」と聞いたら、採点できる作業の話か、正解の無い作業の話かで分けて受け取れます
• AI専門ではないエンジニア: 手を動かす工程の自動化は射程に入っています。何を作るか決める工程には、今回のエージェントは届きませんでした
• 研究や企画に関わる人: 探索を広げること、失敗を認めて引き返すこと。この2つが人間側に残った仕事として浮かびました

オープンエンドな研究が自己改良にどこまで必要なのかは、まだ誰にも分かっていません。