LLM学習効率を倍増させる新オプティマイザMuonの全貌と技術的インパクト

何が発表されたのか

個人研究者のKeller Jordan氏が2024年12月に提唱した新しい最適化アルゴリズム（オプティマイザ）「Muon（MomentUm Orthogonalized by Newton-Schulz）」が、最新のLLM開発において急速に普及しています。Moonshot AI（Kimi）やDeepSeekなどのトップAI研究所が事前学習の主要コンポーネントとして採用し、その有効性を実証する技術論文を相次いで発表しました。

Muonは研究段階の概念実証を超え、すでに大規模モデルの事前学習で実用化される段階に達しています。12年間にわたり深層学習のデファクトスタンダードであった「AdamW」に対し、同等の学習成果をわずか半分程度の計算量（FLOPs）で達成できる点が最大の特徴です。

発表された機能・アップデートの全容

AdamWの構造的限界と1Dスカラー処理の問題点

AdamWをはじめとする従来の主要オプティマイザは、モデル内の数億から数千億に及ぶパラメータを単なる「1次元の数値の並び」として処理します。各パラメータの過去の勾配履歴（モメンタム）や変動の大きさを個別に追跡し、独立して更新量を決定します。

しかし、Transformerをはじめとする現代のニューラルネットワークのパラメータは、本質的に2次元の「行列」として構成されています。アテンション機構やMLP層（多層パーセプトロン）は空間の幾何学的な変換を行う計算ブロックです。パラメータを1次元のスカラー値の集合として扱うAdamWは、更新方向の相関や冗長性を見落とします。その結果、多くの更新ベクトルが同じ方向へ重複して移動し、計算リソースが無駄に消費されていました。

Muonによる行列直交化とニュートン・シュルツ反復の数学的アプローチ

Muonは、パラメータ行列の幾何学構造を維持したまま最適化を行う「行列アウェア（Matrix-aware）」な手法です。更新ベクトルを行列全体として扱い、特異値分解（SVD）のように各更新方向の強さ（特異値）を均等化（直交化）します。これにより、特定の方向だけに偏った過剰な更新を防ぎ、表現空間全体を効率よく活用します。

本来、毎ステップで行列のSVDを厳密に計算すると巨大な計算負荷が発生します。そこでMuonは「ニュートン・シュルツ（Newton-Schulz）反復」と呼ばれる近似計算を採用しました。この手法はSVDを使わず、GPUが最も得意とする単純な行列積（Matrix Multiplication）の繰り返しのみで直交化を行います。GPUの演算性能をフルに活かしつつ、現実的な計算時間での直交化を実現しています。

Moonlight研究が実証したスケーリング法則と約52%のFLOPs削減

Moonshot AIとUCLAの研究チームは、技術レポート「Muon is Scalable for LLM Training」の中で、Muonを大規模LLMに適用するための3つの改修点を提示しました。

第一に、学習後半の重み肥大化を防ぐ「結合解消型重み減衰（Weight Decay）」の導入です。第二に、アテンション層やMLP層など異なる形状の行列間で更新サイズを均一化する「Update Scaling」の追加です。第三に、複数GPUにまたがる分散学習（ZeRO-1構成）において、一次元集約（Gather-Compute-Discard）により通信オーバーヘッドを抑える設計です。

この改良を施した160億パラメータ（活性化30億）のMoEモデル「Moonlight」を5.7兆トークンで学習させた結果、AdamWと比較してわずか約52%の学習FLOPs（計算量）で同等以上の性能を達成しました。

DeepSeek-V4で採用されたハイブリッド最適化とKnapsack分配

DeepSeekが公開した最新の技術構成（DeepSeek-V4）でも、Muonは中核技術として組み込まれています。DeepSeekはモデル全体の全パラメータにMuonを適用するのではなく、AdamWとの「ハイブリッド構成」を採用しました。

2次元行列であるMLP層やアテンション層の重みにはMuonを使用し、1次元データであるトークン埋め込み（Embeddings）、予測ヘッド、バイアス項、RMSNormの係数などにはAdamWを適用しています。要素ごとに最適なアルゴリズムを使い分ける設計です。

さらにDeepSeekは、ニュートン・シュルツ反復の係数をステップごとに切り替える「ハイブリッド・ニュートン・シュルツ」を導入しました。1〜8ステップ目で急速に直交化を進め、9〜10ステップ目で高精度に微調整します。また、GPU間の負荷平衝を保つため「Knapsackアルゴリズム」を用いて行列の更新割り当てを最適化し、通信ボトルネックを回避しています。

過去のアーキテクチャや特徴量表現を復活させる高い実効ランク

Muonの導入は、単なる計算速度の向上にとどまりません。最新の研究（Parallax論文やYale大学等の特徴量学習論文）により、モデルが獲得する内部表現の質自体が向上することが判明しました。

従来のAdamW環境下では「学習が不安定で使いものにならない」と棄却されていたアーキテクチャ（Local Linear Attention等）が、Muonを用いることで高い性能を発揮する例が確認されています。「過去に失敗した手法の失敗原因は、アーキテクチャではなくオプティマイザにあった」という新たな視点を提供しています。

また、Muonで学習したモデルは内部表現の実効ランク（Effective Rank）が高く維持されます。これにより、入力データにノイズが混入した際の堅牢性が高まり、ファインチューニング時の転移学習効率（Transferability）が向上することが実証されています。