要約だけ見たAI科学者は85%負けた 生データを直接読ませる

3行まとめ

• OmniScientist は生の観測データを直接読み、仮説から論文まで書く
• 要約済みのスカラー特徴だけ見る盲検版は、一対比較一対比較2つの成果物を並べ、どちらが良いかを判定役に選ばせる評価方法。用語集でこの語を見るの85%で負けた
• 査読前の論文で、36件の実データすべてが原稿まで到達した

何が起きたか

シンガポール国立大学とオックスフォード大学の研究者らが、AI 科学者「OmniScientist」を公開しました。論文は査読前のプレプリントプレプリント査読を通す前に公開される論文。結果は第三者が検証していない。用語集でこの語を見るで、結果は第三者が検証していません。

利用者が渡すのは、仕様ファイル1枚と生データだけです。仕様ファイルにはデータセット・科学的な対象・調べたい性質を書きます。手法はエージェントが決めます。

著者らは5つの分野系統にまたがる36件の実データで試しました。顕微鏡画像・地震波・鳥の鳴き声・CAD の3D形状・GPS軌跡・500万辺の生物医学知識グラフが並びます。36件すべてで、システムは生データから組版済みの PDF まで到達しました。

なぜ難しい・何がすごいか

これまでの AI 科学者が読んでいたのは、人間が先に加工したテキスト・コード・ラベル・集計済みの数値でした。論文は、工程は完結しているのに証拠が不完全だと指摘します。

論文が問うのは、加工の過程でどの関係が生き残るかです。図の説明文は、顕微鏡画像の局所的な形を落とします。順序のないスカラー要約は、移動軌跡やシミュレーションの時間順を捨てます。

入力の形が結論を左右します。

地震波の事例で、OmniScientist は3成分の波形を直接読みました。論文は、ノイズと分類されたラベルの21.7%が本物の地震だったと報告しています。あらかじめ計算した特徴ベクトルだけを渡すと、立てられる問いの範囲が狭まります。

たとえ話

検査値の一覧だけを見て診断する医師を思い浮かべてください。数値は正しく、基準値とも比べられます。それでも医師は、患者の顔色や歩き方を表から読み取れません。

生データを直接見るとは、患者本人を診察室に入れることです。医師が歩き方を見た瞬間に、次に何を調べるかが変わります。数字が同じでも、出てくる問いは別物になります。

用語ミニ辞典

• AI科学者: 仮説を立て、実験コードを書いて動かし、論文までまとめる AI システム。
• モダリティ: データの表現形式。画像・音声・信号・動画・3D構造・軌跡・表・数式・グラフが当てはまる。
• プレプリント: 査読を通す前に公開される論文。結果は第三者が検証していない。
• 盲検版: 生データを見ず、あらかじめ計算した数値だけを受け取る比較用の構成。
• 一対比較: 2つの成果物を並べ、どちらが良いかを判定役に選ばせる評価方法。

技術者向けの深掘り

OmniScientist は知覚層1つと、着想・実験・執筆の3エージェントで動きます。各段階の内側では、ReAct ループが観察と推論と行動を交互に回します。エージェントの外側では、コードが段階の遷移を決めます。

コードで動く検査は3つです。着想の検査は新規性の根拠と反証可能性を、実験の検査は実行の由来と統計的な妥当性を見ます。主張の検査は、原稿の数値を実際の標準出力と突き合わせます。

多重比較の補正は、デバッグ中に流したテストまで分母に数えます。システムは「first」や「never explored」という断定を自動で弱めます。

評価は0から10点の7軸で、判定役は評価対象の外から選んだ2モデルです。参照バックボーンの Claude Sonnet 5 では、36件の平均総合スコアが6.3でした。

盲検版盲検版生データを見ず、あらかじめ計算した数値だけを受け取る比較用の構成。用語集でこの語を見るとの一対比較では、7軸すべてが改善しました。伸びが大きかったのはマルチモーダル接地と科学的重要性で、勝率は85%です。差は原稿の科学的な中身に出ました。

1回の実行コストは0.03ドルから4.34ドルです。

これは自分に関係ある？

研究や分析で AI を使う人は、AI に渡す入力を見直せます。集計済みの表だけを投げていないか、一度たどると分かります。

エンジニアは、前処理の設計を疑う材料として読めます。生データをスカラーに潰す実装は、精度の前に問いの幅を削ります。前処理でチャンネル間のずれを平均に丸めると、異常そのものが隠れます。

著者らは、生データを直接見せる設計が原稿の中身を変えたと主張しています。36件は実データで、第三者の再現報告はまだ出ていません。