幼児は3000万語、LLMは15兆トークン 子どもが勝てる理由はまだ分からない

3行まとめ

• 子どもは約1000万〜3000万語を聞くと文法的な文を話し始めます
• GPT-2を3000万語で訓練しても、意味不明な文の生成器ができるだけです
• 両者の差「データ効率ギャップデータ効率ギャップ言語の習得に必要なデータ量の、子どもと機械の差。用語集でこの語を見る」の解明に、AI研究と認知科学が挑んでいます

何が起きたか

子どもとLLM（大規模言語モデル）では、言語の習得に要するデータ量が桁違いです。Metaが2年前に公開したLlama 3.1は、事前学習で15兆トークントークンLLMが文章を扱う単位。単語や、単語より小さい断片を指します。用語集でこの語を見るを読みました。幼児は約1000万〜3000万語を聞いた時点で、文法的に正しい文を話し始めます。

スタンフォード大学の認知科学者Michael Frankはこう述べています。

GPT-2を3000万語で訓練すると、意味不明の生成器ができます。子どもにはなりません

この差が「データ効率ギャップ」です。なぜ子どもは少ないデータで学べるのか、認知科学者とAI研究者が解明に取り組んでいます。

なぜ難しい・何がすごいか

子どもが言語を学べる仕組みそのものが、まだ分かっていません。言語学では1950年代から論争が続いています。

MITの言語学者Noam Chomskyは、子どもは文法の知識を生まれつき持つと唱えました。耳にする言葉が少なすぎて、経験だけからは学べないという理屈です。心理学者のB.F. Skinnerは逆に、言語は環境からの学習だけで身につくと考えました。

LLMの登場はこの論争を揺さぶりました。LLMは脳の生物的な仕組みを持たない統計学習器なのに、構文を身につけたからです。それでも子どもと同じ規模のデータで訓練したモデルは、子どもの言語力に届いていません。

たとえ話

データ量の差は、紙に刷って積むと見えます。現代のLLMの訓練に使う言葉をすべて印刷して重ねると、紙の山は国際宇宙ステーションより高くなります。10代に入る前の子どもが聞いてきた語はおよそ1億語で、積んでも高さ20メートルです。

用語ミニ辞典

• トークン: LLMが文章を扱う単位。単語や、単語より小さい断片を指します。
• 事前学習: 大量の文章を読ませる訓練の主工程。チャットボットへの仕立てはこの後に行います。
• データ効率ギャップ: 言語の習得に必要なデータ量の、子どもと機械の差。
• BabyLM: 1億語（幼児規模の部門は1000万語）の小さなデータで言語モデルを競わせる年次コンペ。

技術者向けの深掘り

BabyLMBabyLM1億語（幼児規模の部門は1000万語）の小さなデータで言語モデルを競わせる年次コンペ。用語集でこの語を見るのコーパスは1億語です。中身は絵本、対話、映画の字幕、Simple English版と通常版のWikipedia、子ども向け発話の記録です。

評価にはsurprisalを使います。モデルが文をどれだけ起こりにくいと予測するかの指標です。

2024年の優勝モデルGPT-BERTは、次トークン予測とBERT型の穴埋めを兼ねるtransformerです。約1億語の事前学習事前学習大量の文章を読ませる訓練の主工程。チャットボットへの仕立てはこの後に行います。用語集でこの語を見るで、Llama 2 70Bをベンチマークの1つで上回りました。Llama 2 70Bが事前学習で読んだデータは、およそ1万5000倍です。

易しいデータから順に与えるカリキュラム学習は、初回で最も人気を集めました。結果は期待を下回りました。

映像からの学習はまだ入り口です。PrincetonのBrenden Lakeのチームは、赤ちゃんの頭部カメラ映像61時間でモデルを訓練しました。モデルはballやcatを、映像に映る物と結びつけて覚えました。

これは自分に関係ある？

• AIの動向を追う人: LLMはデータを増やして賢くなってきました。学習に使えるネット上の文章には限りがあり、子どもの学び方はその先を探る手がかりになります。
• エンジニア: 少ないデータで強いモデルを作る技術は、訓練データが数千万トークンしか無いSami語のような少数言語に効きます。2026年3月にはQ Labsが、データ効率だけに絞ったベンチマークNanoGPT Slowrunを出しました。
• 子育て中の人: 子どもは自分から探索し、自分でデータを選んで学んでいると発達心理学者のAlison Gopnikは指摘します。この学び方を機械はまだ持っていません。