手元のPCで動く300億パラメータ Metaの「Muse Glimmer」

3行まとめ

• Metaが「Muse Glimmer」の重みをApache 2.0Apache 2.0商用利用も改変も認める、条件の緩いオープンソースライセンス。で公開しました
• 4bit量子化量子化数値を粗い精度で持ち直してモデルを縮める手法。約4bitなら1つの数値を4ビットで表す。で20GB未満に圧縮し、24GBや32GBのメモリに収まる
• ネット接続がなくても手元のPCで動く、常時稼働のエージェント向け

何が起きたか

Metaが新しいモデル「Muse Glimmer」を公開しました。開発したのはMeta Superintelligence Labs。重みはApache 2.0ライセンスで、Hugging Faceから誰でも入手できます。

規模は300億パラメータパラメータモデルが学習で身につけた数値の量。多いほど動かすのに必要なメモリが増える。です。ねらいは、クラウド任せではなく手元の機材で動かすこと。MacやPCに載る一般向けGPU1枚で動く大きさに収めた、としています。

想定する用途は4つ。常時動き続けるローカルのエージェント、ツールの呼び出し、コーディング、そしてLLMに評価役をさせる使い方です。llama.cpp・MLX・ExecuTorch向けの最適化された統合も、数日中に出る予定だとしています。

なぜ難しい・何がすごいか

壁はメモリです。300億パラメータのモデルをそのままの精度で動かすと、55GBを超えるメモリが要ります。個人向けのGPUには載りません。

Metaは重みを約4bit精度まで圧縮し、言語モデル部分を20GB未満にしました。空いた分に、作業用の記憶であるKVキャッシュKVキャッシュ生成中の文脈を保持しておく作業用のメモリ。やり取りが長いほど膨らむ。、画像を読む部品、生成を速くする小型モデルが同時に収まります。24GBや32GBという現実的な容量に全部入る計算です。

圧縮しても、エージェント的なタスクでの品質低下はほとんど無いと検証したと説明しています。速さも条件でした。返事に何分もかかるエージェントは、仕事の流れを止めてしまうからです。

たとえ話

大型の工場に発注していた作業を、自宅の作業台でこなす。今回の変化はその移し替えに近いものです。運搬の手間も、工場の順番待ちも消えます。

代わりに、作業台へ載る大きさまで道具一式を畳む必要がありました。畳み方にあたるのが量子化、手数を減らす工夫が投機的デコード投機的デコード小さなモデルに先をまとめて下書きさせ、本体が並列に検算して速度を上げる仕組み。です。どちらも小さな机で仕事を回すための工夫でした。

用語ミニ辞典

• Apache 2.0: 商用利用も改変も認める、条件の緩いオープンソースライセンス。
• パラメータ: モデルが学習で身につけた数値の量。多いほど動かすのに必要なメモリが増える。
• 量子化: 数値を粗い精度で持ち直してモデルを縮める手法。約4bitなら1つの数値を4ビットで表す。
• KVキャッシュ: 生成中の文脈を保持しておく作業用のメモリ。やり取りが長いほど膨らむ。
• 投機的デコード: 小さなモデルに先をまとめて下書きさせ、本体が並列に検算して速度を上げる仕組み。

技術者向けの深掘り

学習は3段階です。事前学習では上位モデルMuse Sparkの出力を使い、logit蒸留で振る舞いを移しています。データ配合も教師モデルに近いものを使ったとしています。

中間段階では、より長い文脈と豊かな推論の過程を持つエージェント寄りのデータを足しました。仕上げは教師ありファインチューニングに、on-policy蒸留と強化学習を組み合わせています。

推論側の要は投機的デコードです。DFlashをベースにした軽量なドラフタがトークンの塊をまとめて提案し、本体が並列に検証して誤りだけ直します。出力品質は変えずに生成を速くする方式で、ドラフタの量子化版も同梱されます。

動かす経路は広めです。端末側はllama.cpp・MLX・ExecuTorch、手軽に試すならOllamaやLM Studio。まとめて配信するvLLMやSGLangにも対応する予定だとしています。

ベンチマークの比較対象はGemma4-31BとQwen3.6-27Bでした。どちらも同じ規模帯のモデルです。比較の範囲はそこまでです。

これは自分に関係ある？

• AIを使うだけの人: 電波の届かない場所でも手元で動きます。ただし24GBや32GB級のメモリを積んだ機材が前提です。
• エンジニア: 個人の機材でエージェントを組めます。ツール呼び出しが失敗したとき原因を診断してやり直す挙動や、スクリーンショットや図を入力に取る力まで学習済みです。
• 社外に出せない情報を扱う職場: 処理を端末内で完結させる構成を検討できます。100以上の言語のデータで学習した、とも説明されています。