2.8兆パラメータのオープンMoEモデル「Kimi K3」登場、推論コストを自己制御する革新技術の全貌

何が発表されたのか

中国の有力AIスタートアップであるMoonshot AI（編集部注：月之暗面）の開発チームは、オープン重みとして公開された最新の超巨大マルチモーダルAIモデル「Kimi K3」のテクニカルレポートを公開しました。Kimi K3は、総パラメータ数が2.8兆、そのうち推論時に有効化されるアクティブパラメータ数が1040億に達する「混合専門家（MoE：Mixture-of-Experts）」アーキテクチャを採用しています。

既存のオープンモデルとの最大の違いは、100万トークンという極めて巨大なコンテキストウィンドウをネイティブにサポートしている点です。さらに、画像や動画を処理する高度なビジョン能力を備えています。研究段階にとどまらず、Hugging Face上でモデルウェイトが公開されており、開発コミュニティがその内部構造やポストトレーニングの手法を詳細に検証できる状態になっています。

発表された機能・アップデートの全容

Kimi K3のテクニカルレポートには、従来のLLM開発における課題を解決するための、極めて高度なエンジニアリングアプローチが多数盛り込まれています。Hugging Faceのジャーナルクラブで特に議論の的となった目玉機能について解説します。

1040億アクティブパラメータを持つ2.8兆パラメータMoEアーキテクチャ

Kimi K3の最大の特徴は、その圧倒的なスケールにあります。総パラメータ数は2.8兆ですが、推論時には必要な専門家（Expert）ネットワークのみを選択的にアクティブ化するMoE構造を採用しています。これにより、アクティブパラメータ数を1040億に抑え、処理能力を維持しながら計算コストを劇的に削減することに成功しました。これは、既存の巨大オープンモデルである「Llama 3.1 405B」などと比較しても、推論時の効率性が極めて高い設計となっています。

100万トークンのロングコンテキストと「Kimi Delta Attention」

長大なコンテキストを安定して処理するため、Kimi K3は「Kimi Delta Attention（KDA）」と呼ばれる独自の注意機構を導入しました。従来のトランスフォーマーモデルでは、コンテキスト長が伸びるにつれてアテンション計算に必要なメモリ（KVキャッシュ）が指数関数的に増大し、システムを圧迫していました。Kimi K3では、アテンションの冗長性を排除し、重要な情報のみを動的に圧縮して保持する仕組みを構築しました。これにより、100万トークンのコンテキストウィンドウにおいても、精度を落とすことなく安定した推論が可能になりました。

段階的な強化学習を実現する「Reasoning Effort RL」

Kimi K3は、問題の難易度に応じてモデルが思考に費やす時間（トークン数）を自律的に調整する「Reasoning Effort RL（強化学習）」を搭載しています。具体的には、簡単な質問に対しては即座に回答し、難解な数学やコーディングの問題に対しては、内部で複雑な思考プロセス（思考トークン）を展開します。この思考プロセスは「low」「high」「max」の3段階の予算管理（Token Budget Control）に基づいて制御されており、無駄なトークン消費を抑えつつ、難解なタスクの解決率を飛躍的に向上させています。

動的な評価基準を生成する「Agentic Generative Reward Model」

強化学習のプロセスにおいて、従来の固定的な報酬モデル（Reward Model）では、モデルの進化に伴って適切な評価ができなくなる課題がありました。Kimi K3はこの課題に対し、報酬モデル自体を自律的なエージェントとして動作させる「Agentic Generative Reward Model（GRM）」を開発しました。このエージェントは、生成された回答の品質を評価するための「評価ルーブリック（基準表）」をタスクごとに動的に生成し、その基準に沿って多角的なスコアリングを行います。これにより、より人間に近い柔軟で高精度なフィードバックループが実現しました。

複数専門家モデルを統合する「Multi-Teacher On-Policy Distillation」

Kimi K3のポストトレーニングプロセスでは、特定の領域（コーディング、数学、一般エージェントタスクなど）に特化して強化学習された9つの専門家モデル（Teacher）を用意しました。そして、これら複数の専門家モデルが持つ知識と推論プロセスを、1つの統合された学生（Student）モデルへとオンポリシーで蒸留（Distillation）する「Multi-Teacher On-Policy Distillation（MOPD）」を採用しています。これにより、各領域の専門能力を損なうことなく、汎用性の高い最高峰のLLMを1つに統合することに成功しました。

量子化を前提とした学習「MXFP4 Quantization-Aware Training」

巨大なMoEモデルを実際のサーバー環境にデプロイする際、メモリ消費量と通信帯域が最大のボトルネックとなります。Kimi K3は、ポストトレーニング段階から4ビット浮動小数点フォーマット（MXFP4）での量子化を前提とした「Quantization-Aware Training（QAT）」を導入しました。学習中から量子化による精度の低下をシミュレートし、それを補正するように重みを調整するため、推論時に4ビットに圧縮しても、16ビット（BF16）のフル精度モデルとほぼ同等の性能を維持できます。これにより、デプロイ時のメモリフットプリントを劇的に削減しました。