圧縮と予測は同じことをしている gzipとLLMが解く1つの問題

3行まとめ

• gzipのような圧縮器と大規模言語モデルは、根っこで同じ問題を解いている
• 次に来るものを当てられるデータほど、小さく詰められる
• どこまで圧縮できたかは、そのデータをどれだけ読めているかの物差しになる

何が起きたか

圧縮ソフトとAIの言語モデルは、同じ問題を解いています。圧縮の基礎から順に辿ってそれを示す解説が公開されました。

きっかけは、書き手が圧縮について調べていて気づいた重なりでした。2023年にはGoogle DeepMindが、言語モデリングと圧縮は同じものの2つの見方だとする論文を出しています。今回の解説は、その主張を数式なしで歩いて確かめる内容です。

扱うのはデータを一切失わない可逆圧縮です。JPEGやMP3のように細部を捨てる非可逆圧縮は今回の範囲の外にあります。ただし、どちらも確率を使って縮める点は変わりません。

なぜ難しい・何がすごいか

圧縮の主役は確率です。

同じ文字の繰り返しを「A9B4C2」のように畳む方法が分かりやすい例です。28文字224ビットの並びが12文字96ビットになります。

ただし現代の圧縮ソフトはもっと手前を見ています。まず各記号の出やすさを表にして、その確率をエントロピー符号器エントロピー符号器確率を受け取って実際のビット列を作る部品。gzipやBrotliが使うハフマン符号、算術符号などがあります。という部品に渡します。

渡された確率が偏っているほど、出てくるビット列は短くなります。ここで効いてくるのが文脈です。英語のUは全体では約0.028の確率ですが、Qの直後では約0.999まで跳ね上がります。

出ると分かっている記号は、ほとんどビットを使わずに書けます。次が読めているほど小さくできる。圧縮は当てっこなのです。

たとえ話

先が読める相手との会話を思い出してください。

長年組んだ同僚になら「例の件、明日で」で通じます。前提を共有していない相手には、経緯から順に説明しないと伝わりません。伝える中身は同じなのに、必要な言葉の量が違います。

圧縮でも事情は変わりません。次に何が来るか当てられる度合いが、そのまま必要なビット数を決めています。

用語ミニ辞典

• 冗長性: データの中の繰り返しや偏り。圧縮はこれを削って縮めます。
• エントロピー: 1記号あたり平均で何ビット必要かという下限。これより小さくはできません。
• エントロピー符号器: 確率を受け取って実際のビット列を作る部品。gzipやBrotliが使うハフマン符号、算術符号などがあります。
• 算術符号: データ全体を0以上1未満の1つの数で表す方式。1970年代後半に作られました。
• トークン: LLMが扱う単位。単語や単語の一部を表す数値です。

技術者向けの深掘り

伸びしろがあるのはモデル側だけです。エントロピーエントロピー1記号あたり平均で何ビット必要かという下限。これより小さくはできません。符号器は固定で決定的、いじる余地がありません。圧縮率を上げたいなら、より当たる予測器を用意するしかありません。

直前の1記号だけを文脈に使うorder-1モデルでも効果は大きく出ます。「TO BE OR NOT TO BE」の18記号は、1記号2.59ビットから1.16ビットに下がります。

予測器をLLMに替えると差はさらに開きます。ディケンズの一節では、order-1が元の24%（434ビット）、GPT-2が元の10%（176ビット）まで縮みました。

それでも日常のHTTPレスポンスにLLMは使われません。送り手と受け手が数ギガバイトのモデルを共有する必要があり、数キロバイトを削るために払う代償として釣り合わないからです。

面白いのは学習側の目盛りです。LLMの訓練が下げているcross-entropyは、圧縮でいうビット数/記号と同じ式です。予測が上手くなることと小さく詰められることが、1つの数で結ばれています。

これは自分に関係ある？

• AIのニュースを追っている人: LLMが「もっともらしい続き」を返す正体は、次のトークントークンLLMが扱う単位。単語や単語の一部を表す数値です。の確率分布です。ここを掴むと、新しいモデルの話の聞き方が変わります。
• エンジニアの人: Accept-Encodingで選ぶgzipやBrotliと、生成AIの改良は同じ軸の上にあります。速さと省メモリの勝負に移った符号器の隣で、モデルだけが伸び続けています。
• どちらでもない人: 説明が短くて済む相手ほど話が通じています。その日常の感覚が、そのまま情報理論の言葉になっています。