公開テストは96.64%通る それでもエージェントは科学のコードを半分も直せない

3行まとめ

• 論文が、科学ソフトの修理だけを測るベンチマークを公開した
• 119課題での pass@1pass@1非公開テストを全部通したかを0か1で数える指標です。部分点はありません用語集でこの語を見る は、最高でも47.90%だった
• 科学の補助情報を渡すと GPT-5.6-sol の pass@1 は下がった

何が起きたか

論文は、科学ソフトの修理だけを測るベンチマーク SWE-bench Science を公開しました。作ったのは復旦大学と Shanghai Innovation Institute の研究者です。2026年8月20日に arXiv へ出たプレプリントプレプリント査読を通す前に公開する論文の原稿です用語集でこの語を見るで、査読は通っていません。

課題は GitHub の98リポジトリから集めた119件です。化学・材料科学・生物・生物医工学・物理を含む20の科学分野にまたがります。最も多い化学が24件です。

研究者は8つのエージェント構成を走らせました。119課題での pass@1 は、最高でも47.90%でした。この数字を出したのは Claude Code と Claude-Opus-5 (max) の組み合わせです。

なぜ難しい・何がすごいか

SWE-bench Science は、テストを公開と非公開の2組に分けます。エージェントが作業中に走らせられるのは公開テストだけです。非公開テストは、パッチを提出したあとに評価側のコンテナで走ります。

pass@1 は、非公開テストを1つも落とさなかったときだけ1になります。部分点はありません。同じ構成の公開スコアは96.64%で、見えるテストはほとんど通っています。

課題のコードは小さなスニペットではありません。119課題の入力コードは、空行を除いて平均80,600行、最大2,029,051行です。正解パッチも平均117.81行を追加します。

論文は、ソフトウェアが科学の主張を生む装置の一部になったと書いています。壊れたパッチは、プログラムの出力だけでなく結論の根拠まで汚します。

たとえ話

整備士は、警告灯が消えた時点で修理を終えたことにできます。客が別の道を長く走ると、同じ不調が戻ってきます。SWE-bench Science の非公開テストは、この別の道を提出後に走らせます。

用語ミニ辞典

• pass@1: 非公開テストを全部通したかを0か1で数える指標です。部分点はありません
• 公開テストと非公開テスト: 公開テストはエージェントが作業中に何度でも走らせます。非公開テストは提出後に評価側のコンテナだけで走ります
• アンカリング: 先に渡された説明に引きずられ、その説明を疑わないまま作業を進めることです
• プレプリント: 査読を通す前に公開する論文の原稿です

技術者向けの深掘り

論文は119課題を3つのパラダイムに分けます。

• Issue-driven（52件）: 既知バグの直前まで巻き戻し、局所修理と回帰の有無を見ます
• Expert-exploratory（49件）: 根本原因が未知の食い違いを、観察と対照比較で追わせます
• Engineering-integration（18件）: 複数モジュールをまたぐ機能の連鎖をつながせます

研究者は失敗した試行を手作業で4機構に分類しました。Claude-Opus-5 の58件では、科学の知識か抽象化の誤りが24件で最多でした。

論文は、科学の補助情報を切り離せる91課題で対照比較をしました。リポジトリと実行環境と公開テストは、両条件で同じです。

補助情報を渡すと、GPT-5.6-sol の pass@1 は36.26%から31.87%へ落ちました。DeepSeek-V4-flash は逆に16.48%から23.08%へ上がりました。噛み合わない説明はアンカリングアンカリング先に渡された説明に引きずられ、その説明を疑わないまま作業を進めることです用語集でこの語を見るを招くと論文は書いています。

これは自分に関係ある？

研究でコードを書く人は、公開テストが緑になっても修理の完了を確かめられません。境界条件・等価な表現・パラメータのスケールを変えた検証は、自分で用意することになります。

エージェントを使うエンジニアは、プロンプトに知識を詰めれば精度が上がるという前提を見直せます。91課題の比較で pass@1 が上がったのは、ベースラインの低い DeepSeek-V4-flash でした。GPT-5.6-sol は下がりました。

論文は、この2モデルの差から統計的な有意性も因果も示していないと書いています。