自由に直させると9割が文言いじり Microsoftが道具とループに手を入れさせる

3行まとめ

• Microsoft らが、AIエージェントの外側の足場を自動で直す仕組みを作りました
• GAIA2 で成績が9.0ポイント上がりました
• 制約を外すと、直しの91.5%が文言の書き換えに偏りました

何が起きたか

Microsoft と KAIST・POSTECH の研究チームが、AutoSaddler を発表しました。AIエージェントの harnessharnessLLM の外側にあるエージェントの足場。プロンプト・道具・ミドルウェアの3つ。用語集でこの語を見る を自動で書き直す枠組みです。harness とは、LLM の外側でエージェントを支える足場です。

足場は3つの部分から成ります。指示文のプロンプト、エージェントが使える道具、実行中の制御を担うミドルウェアミドルウェア実行中の制御ロジック。道具を呼ぶ直前の注意書きや、ループの回し方。用語集でこの語を見るです。AutoSaddler はこの3つをコードとして扱い、失敗した実行記録から原因を探ってパッチを当てます。

チームは3つのベンチマークで、出発点の harness を上回ったと報告しています。GAIA2 で9.0ポイント、SWE-Bench Pro で8.4ポイント上がりました。Terminal-Bench 2.0 では10.0ポイントです。

論文は査読前のプレプリントです。結果はまだ第三者に検証されていません。

なぜ難しい・何がすごいか

論文が突いたのは、直す場所の偏りです。harness の設計はいまも人手で進みます。プロンプトの言い回しから道具の実装、実行時の制御まで、人が広い範囲を探します。

評価も高くつきます。候補を1つ試すたびに、エージェントを何十手も動かす必要があります。

AutoSaddler は直し方をあらかじめ分類し、段階を踏んで当てます。この制約を外して自由に直させると、生成されたパッチの91.5%が Steering パッチSteering パッチコードを変えず、文言だけを直すパッチ。プロンプトや道具の説明が対象。用語集でこの語を見るに寄りました。Steering パッチはプロンプトや道具の説明文を書き換えるだけで、コードには触りません。

採択率が高いのはコード側のパッチです。新しい道具の追加が83%、ループの変更が71%、設定の変更が67%。この3種は、自由に直させたときのパッチの4%しか占めません。

AutoSaddler は分類と段階付けで、この割合を25%超まで押し上げました。GAIA2 の Pass@1Pass@11回の試行で課題を解けた割合。用語集でこの語を見る は、制約を外すと62.0%から56.9%へ下がります。

たとえ話

車の調子が悪いのに、エンジンを開けずシートの位置だけ直す人を想像してください。座り心地は毎回わずかに良くなり、作業の記録も増えます。エンジンには一度も触っていません。

文言だけを書き換える harness の直しは、この動きに近いところがあります。

用語ミニ辞典

• harness: LLM の外側にあるエージェントの足場。プロンプト・道具・ミドルウェアの3つ。
• ミドルウェア: 実行中の制御ロジック。道具を呼ぶ直前の注意書きや、ループの回し方。
• Steering パッチ: コードを変えず、文言だけを直すパッチ。プロンプトや道具の説明が対象。
• Capability パッチ: 道具の実装やループの制御そのものを書き換えるパッチ。
• Pass@1: 1回の試行で課題を解けた割合。

技術者向けの深掘り

AutoSaddler は harness の改善をオフライン学習として定式化します。現行 harness を訓練データの一部で回し、失敗トレースを診断してパッチを作ります。同じ束で成績が上がったものだけ dev セットに進め、汎化を確かめます。

反省の結果は EvoDAG という有向非巡回グラフに溜まります。次の候補は、過去の枝から部品を組み合わせて作られます。

チームは診断・反省・進化の3エージェントを Claude Agent SDK で実装しました。下敷きの LLM は Claude Opus 4.6 です。

効率でも差が出ました。プロンプト中心の GEPA は、GAIA2 の dev 精度が64.6%で止まりました。Meta-Harness は61.5%です。

どちらも約2,800回の実行を使っています。AutoSaddler は約1,000回で72.3%に届きました。最高点に達したのは147本のトレースを使った時点で、Meta-Harness の1,400本の約10分の1です。

これは自分に関係ある？

エージェントを組んでいる人には、直す場所の分類を先に決める話として届きます。分類が無いと、手はプロンプトの文言に向きます。論文は、道具の追加とループの変更のほうが採択されやすかったと報告しています。

AIを使う側には、足場の作りで成績が動くという材料になります。Terminal-Bench 2.0 では、AutoSaddler が50.0%を出しました。人手で調整された Terminus KIRA は47.5%です。

査読前の結果である点は変わりません。