かみくだきむずかしいニュースを、わかるまで噛み砕く

Pass@1とは

2本の記事で説明した語です。文脈ごとに言い方が変わるので、記事ごとにそのまま並べます。

  1. 1回の試行で課題を解けた割合。

    自由に直させると9割が文言いじり Microsoftが道具とループに手を入れさせる

  2. 非公開テストを全部通したかを0か1で数える指標です。部分点はありません

    公開テストは96.64%通る それでもエージェントは科学のコードを半分も直せない

用語集へ戻る