小さい実験で学習率を決め切る Kakaoが155Bモデルを一発で訓練

3行まとめ

• 巨大MoEモデルの学習率学習率訓練の1回の更新で、モデルの重みをどれだけ動かすかを決める値。用語集でこの語を見る探索は計算費が高すぎて、総当たりでは決められない
• Kakaoは学習率をμPで大型へ転移し、トークン量は回帰で外挿した（R²=0.95）
• 外挿した学習率で155B（活性17B）のモデルを10兆トークン訓練し、損失は安定した

何が起きたか

Kakaoの研究チームが、小型モデルの実験だけで巨大AIモデルの最適な学習率を決める手法を公開しました。学習率は、訓練でモデルの重みを一度にどれだけ動かすかを決める設定値です。

対象はMoE（Mixture-of-Experts）MoE（Mixture-of-Experts）専門家と呼ぶ小さなネットワークを束ね、入力ごとに選んだ専門家だけを動かす構造。計算量を抑えたまま容量を増やせる。用語集でこの語を見ると呼ぶ構造のモデルです。MoEは入力ごとに選んだ専門家ネットワークだけを動かし、計算を節約します。今回のモデルは総パラメータが155B（1550億）で、1トークンの処理で動く活性パラメータは17Bです。

チームは小型実験から外挿した学習率で、このモデルをゼロから10兆トークン訓練しました。損失は一度も急上昇せず、最後まで安定したと論文は報告しています。

この論文は査読前のプレプリントで、結果はまだ第三者に検証されていません。

なぜ難しい・何がすごいか

学習率の最適値は、モデルの規模と訓練トークン量の両方で動きます。従来はこの2次元で候補を総当たりするため、規模が上がるほど探索費が膨らみます。今回の155Bモデルの本訓練は、学習率探索に使った小型実験の合計の約98倍の計算量でした。

本命サイズで何度も試す予算はありません。そこで論文は、小型のプロキシ（代理）モデルの結果から本命の学習率を外挿しました。新しさはこの外挿の1点です。

μP（ミューピー）という理論をMoE向けに調整すると、モデルの幅を広げても最適な学習率がずれなくなります。この転移で規模方向の探索が消えます。残るトークン量の方向は、小型モデルの実測値を直線に当てはめて延長しました。

2次元の総当たりが、1次元の回帰1本に縮みます。ここが計算費を削る核心です。

たとえ話

橋を建てる前に、縮小模型を風洞に入れて風の力を測る試験があります。実物の橋で試行錯誤はできないため、模型の測定値を縮尺の法則で実物の設計値に換算します。

今回の手法では、μPが「模型と実物で最適値が同じになる」ことを保証する縮尺の法則にあたります。回帰の直線は、短い訓練から長い訓練への換算表です。155Bモデルの本訓練は一度きりの架橋工事で、学習率はその設計値です。

用語ミニ辞典

• MoE（Mixture-of-Experts）: 専門家と呼ぶ小さなネットワークを束ね、入力ごとに選んだ専門家だけを動かす構造。計算量を抑えたまま容量を増やせる。
• 学習率: 訓練の1回の更新で、モデルの重みをどれだけ動かすかを決める値。
• μP（Maximal Update Parameterization）: モデルの幅を変えても最適なハイパーパラメータが保たれるように、重みの初期値と学習率の倍率を定める方法。
• プロキシモデル: 本命モデルの代わりに実験へ使う小型モデル。
• Muon: この論文が採用した最適化アルゴリズム。AdamWと比べ収束を速めると報告されている。

技術者向けの深掘り

モデルはMLA（Multi-head Latent Attention）とMuonMuonこの論文が採用した最適化アルゴリズム。AdamWと比べ収束を速めると報告されている。用語集でこの語を見るを使うMoEです。μPの学習率スケーリングは、行列型の隠れ層の重みだけに適用します。

幅の拡大では、隠れ次元・総エキスパート数・ヘッド数を比例させます。活性エキスパート数・MoE中間次元・層数は動かしません。13億トークンのスイープで、0.6B（活性0.3B）の最適学習率は幅8倍の30.7B（活性3.6B）でも最適でした。

トークン方向では、WSDスケジューラの安定フェーズで訓練を打ち切ります。打ち切り時点の重みをEMA（指数移動平均、係数0.6）で均します。これで1回の訓練から、トークン量ごとの測定点を複数取り出せます。

各トークン量で検証損失をlog学習率の2次式で近似し、頂点を最適値と読みます。10.8B（活性3.3B）のプロキシでは、2550億〜5020億トークンの最適値が1本の直線に乗りました。当てはまりを示すR²は0.95で、10兆トークンへ延ばした予測値が3.85×10⁻⁴です。

バッチサイズは転移の対象から外し、スループット優先で32Mトークンに固定しています。最適バッチサイズの規則が、先行研究の間で割れているためです。

モデル比較はチーム自身の評価環境で統一しています。MMLU-Proの正答率では、推定訓練計算量が同等以下のままdots.llm1とGLM-4.5-Airを上回りました。

これは自分に関係ある？

• LLMの訓練に携わる人: μPの適用先、EMAの係数、回帰に使うトークン区間まで本文に載っています。100B超のMoEを一度しか訓練できない予算で、学習率を決めた実例です。
• AI開発の動向を追う人: 巨大モデルの開発費には、本訓練の前の設定探しも含まれます。この論文はその探索を、本訓練の約98分の1の計算に収めました。
• AI専門でないエンジニア: 小さい系で測って本番へ外挿する検証の型は、負荷試験の設計と同じ発想です。理論で次元を1つ消し、残る1次元だけを回帰で外挿する分け方が参考になります。