自分で採点すると学習が崩れる Co-RLは隣のモデルに採点させる

3行まとめ

• 推論を伸ばす強化学習は、機械で正誤を判定できる正解に頼ってきた
• 自分の多数決を答えにすると、癖が増幅して学習が崩れる
• Co-RL は隣のモデルの多数決を答えに使い、正解なしで伸ばす

何が起きたか

論文は、正解ラベルを1つも使わずにAIの推論力を伸ばせたと報告しています。名前は Co-RL です。

著者らは、パラメータを共有しない複数のモデルを同時に強化学習で回しました。各モデルは同じ未ラベルの問題に何度も答え、多数決で仮の答えを作ります。その仮の答えが隣のモデルの採点基準になり、採点は輪になって一巡します。

テキストの7ベンチマークでは、4つのLLMの平均が3.0〜8.6%上がりました。マルチモーダルの4ベンチマークでは、2Bから12Bの5つのVLMで2.3〜7.2%です。正解は一度も現れません。

なぜ難しい・何がすごいか

正解データの費用が、推論向け強化学習の上限を決めてきました。強い成果は、数学の答えのように機械で正誤を判定できる報酬に支えられています。人が確実に評価できる範囲を超えると、その正解はもう手に入りません。

抜け道として、研究者はモデル自身の出力から報酬を作ってきました。TTRL は自分の多数決との一致を点にし、RENT は予測のばらつきの小ささを点にします。

点の出どころは、採点される本人です。モデルは自分の偏りと悪い癖を増幅し、答えの多様性を失います。論文は、TTRL を長く回すと学習が崩壊したと報告しています。

Co-RL は報酬の出どころを、独立に学習した別のモデルへ移しました。間違い方の違う相手は、自分では気づけない誤りを指摘できます。誤りの重なりが減ります。

たとえ話

答えのない問題集を一人で自習する場面を思い浮かべてください。自分の答案に自分で丸をつけると、思い違いはそのまま残ります。

解き方の癖が違う友人と答案を交換すれば、片方が落ちた穴をもう片方が埋めます。同じ塾で同じ教え方を受けた2人だと、この交換は効きません。同じ穴に一緒に落ちます。

用語ミニ辞典

• 強化学習（RL）: 出力に点をつけ、点が高くなる方へモデルを寄せる学習法。この点を報酬と呼ぶ
• 検証できる報酬: 数学の答えのように、機械で正誤を判定できる報酬。正解データが前提になる
• 自己報酬型RL: モデル自身の出力から報酬を作る手法。正解データは要らないかわりに、自分の偏りを直せない
• 多数決の仮ラベル: 同じ問題に何度も答えさせ、最も多かった答えを正解の代わりに使うもの
• プレプリント: 査読を通す前に公開する論文。結果はまだ第三者が検証していない

技術者向けの深掘り

新しいのは報酬の出どころだけです。方策最適化には GRPO か REINFORCE++ をそのまま使います。エージェント間の通信は報酬の受け渡しだけで、討論も外部の判定モデルも学習済みの報酬モデルも要りません。

論文は学習の動きも解析しています。自己報酬型では、正答確率が 1/2 を下回るとモデルは 0 へ落ちます。2体の Co-RL では、2つの正答確率の和が 1 を超えれば両方が正答へ収束します。

Qwen2.5-3B は7ベンチマークの平均が 40.7 から 49.3 に上がりました。正解報酬つき GRPO の 47.4 を上回った数字です。学習は H100 を8基使い、エージェントごとに4基を割り当てています。

これは自分に関係ある？

• AIの話題を追う人: 正解データを作る費用の壁に、抜け道が1つ増えました。ただし査読前の1本です
• モデルを学習させるエンジニア: ラベルの無い領域でも、系統の違うモデルを2つ用意すれば試せます。Qwen2.5-3B では同じ系統の2体でも平均が8.0%上がりました
• AIを道具として使う人: 今日の使い勝手は変わりません。学習の頭打ちがどこで来るかの見立てだけが動きます