何が発表されたのか
米Hugging Faceは、LLM（大規模言語モデル）の推論スループットを飛躍的に高める技術「投機的デコーディング（Speculative Decoding）」に関する実践ウェビナーを開催しました。本ウェビナーでは、Hugging Faceのメルヴェ・ノヤン（Merve Noyan）氏に加え、オープンソースのLLM推論基盤「vLLM」の開発を主導する米Red Hatのエルダル・クルティッチ（Eldar Kurtić）氏、米Google DeepMindのマールテン・グルートエンドルスト（Maarten Grootendorst）氏が登壇しました。
本発表の位置づけは、研究段階の理論紹介にとどまらず、すでにオープンソースとして提供開始されている実装基盤の解説と実務への適用手法の提示です。Red Hatが開発する学習・評価フレームワーク「Speculators」の一般提供および、Googleが公開する小型軽量モデル「Gemma-4」に最適化されたMulti-Token Prediction（MTP）ドラフターの実装仕様が詳細に明かされました。ハードウェアの増強に頼らず、モデル構造とデコーディングアルゴリズムの工夫によって、ローカルPCやサーバー環境におけるLLM推論を最大3倍から5倍以上高速化する道筋が示されました。
発表された機能・アップデートの全容
投機的デコーディングの原理と品質無劣化（Lossless）の保証
ウェビナー冒頭では、Hugging Faceのノヤン氏がLLM推論のボトルネックと投機的デコーディングの根本原理を整理しました。自己回帰型のLLM推論は、入力プロンプトを一括処理する「プリフィル（Prefill）」段階と、1トークンずつ逐次生成する「デコード（Decode）」段階に分かれます。プリフィル段階は行列演算が支配的であるため計算性能（Compute-bound）に依存します。一方で、デコード段階は1トークン生成するたびに数GBから数十GBのモデル重みをGPUメモリからプロセッサへ読み込む必要があり、メモリ帯域幅（Bandwidth-bound）が速度の上限を決定します。
投機的デコーディングは、この制約を回避する手法です。計算負荷の極めて小さい軽量な「ドラフター（Drafter）モデル」が先行して数トークンを仮生成し、本体である「ターゲット（Target）モデル」がそれらを1回のフォワードパスで並列検証します。ターゲットモデルの確率分布に基づいてドラフトトークンを採択または棄却し、棄却された地点で正確な補正トークンを再生成します。この数理的補正処理により、生成される文章の確率分布はターゲットモデル単体で推論した場合と厳密に一致します。スライド内のデモ画面では、Muse Glimmerモデルにおいて投機的デコーディング非適用時の秒間44トークンに対し、適用時は秒間117トークンを記録し、生成文の品質を一切落とさずに2.65倍の高速化を達成する様子が実演されました。
llama.cppおよびTransformersにおける透過的な高速化設定
ノヤン氏は、投機的デコーディングが主要なランタイム環境へすでに統合されている点を強調しました。デスクトップ向けGUIツールである「Llama App」では、ユーザーが複雑な設定を行うことなく、バックエンドのllama.cppが対応モデルのダウンロード時に自動で最適なドラフターモデルを取得して推論を実行します。内部で投機的デコーディングが動作していることをユーザーに意識させない設計となっています。
コマンドラインやPythonコードからの利用手順も簡潔です。llama.cppのサーバー機能「llama-serve」では、引数に「--spec-type draft-mtp」や「--spec-type draft-dflash」、ドラフトトークン数を指定する「--spec-draft-n-max 3」を付与するだけで機能が有効化されます。Hugging FaceのTransformersライブラリにおいても、TextGenerationPipelineに対して「assistant_model」引数でドラフターモデルを指定するか、MTP対応モデルにおいて「use_mtp=True」を渡すだけで高速化パイプラインが立ち上がります。既存の推論コードを大幅に書き換えることなく導入できる点が開発者にとっての大きな利点です。
Red Hat「Speculators」によるドラフター学習とvLLM統合
Red Hatのクルティッチ氏は、vLLMプロジェクト傘下で開発されている公式フレームワーク「Speculators」のアーキテクチャを発表しました。Speculatorsは、各種ドラフターモデルのデータ準備、隠れ状態（Hidden States）の抽出、学習、そしてvLLMでのサービングまでを一気通貫で支援するライブラリです。対応するアルゴリズムとして、EAGLE-3、MTP、DFlash、DSpark、DFlash-2などが網羅されています。
クルティッチ氏はドラフターモデルの学習における技術的要点を複数提示しました。第1に「再生成データ蒸留（Regen-data distillation）」です。ファミリー内の小型モデル向けドラフターを学習する際、そのモデル自身の出力ではなく、ファミリー内の最大モデル（例：Qwen-3-235Bなど）が生成した高品質なデータセットを用いることで、小型モデルの自己蒸留よりも高いトークン採択長（Acceptance Length）が得られる事実を実験データで示しました。第2に「隠れ状態の量子化」です。オフライン学習時にディスク容量を圧迫する隠れ状態のテンソルデータを、Hadamard変換などを組み合わせた4ビット量子化（INT4）で保存しても、採択精度を劣化させずにストレージ消費量を約4分の1に削減できることを立証しました。さらにオプティマイザとしてAdamWではなく「Muon」を採用することで、学習の収束速度と検証損失が大幅に改善される知見も公開されました。
サービング負荷に応じた「適応的検証（Adaptive Verification）」
サーバーサイドでの大規模運用において、投機的デコーディングには特有の課題が存在します。ドラフトするトークン数を固定値（例：8トークン）に設定していると、モデルの確信度が低い難解なコンテキストにおいて後半のトークンが連続して棄却され、検証計算が無駄になります。特に同時リクエスト数（バッチサイズ）が増加する高並行環境下では、GPUの計算リソースが逼迫し、投機的デコーディングを適用した方がかえって全体のスループットを低下させる逆転現象が発生します。
この課題を解決するため、SpeculatorsおよびvLLMには「適応的検証（Adaptive Verification）」が組み込まれました。適応的検証は、ドラフターモデルが出力するトークンの確信度スコアと、サーバーの現在の実行時レイテンシ情報をリアルタイムに照合します。採択確率が低いと予測されるリクエストに対しては検証対象のトークン数を動的に削減し、確信度が高いリクエストにリソースを集中させます。DeepSeek-V4を模した評価実験のグラフでは、固定長検証では同時リクエスト数が増えるにつれてスループットが急落したのに対し、適応的検証を適用したシステムは高並行状態でもベースラインを上回るスループットと優れた対話性を維持し、パレート最適のフロンティアを拡大させることが実証されました。
Gemma-4向け超軽量MTPドラフターの内部構造
Google DeepMindのグルートエンドルスト氏は、Googleの最新オープンモデル「Gemma-4」に導入されたMTPドラフターの構造を解剖しました。対象として示されたのは、実効パラメータ数約20億の小型モデル「Gemma-4 E2B」と、そのために設計されたパラメータ数1億未満（実測7700万パラメータ）の超小型ドラフターモデルです。
Gemma-4は、4層の局所注意（Local Attention / Sliding Window Attention）と1層の大域注意（Global Attention）を交互に繰り返す層構造を採用しています。ドラフターモデルはこの構造を巧みに模倣し、3層の局所注意と1層の大域注意で構成されています。ドラフターは自前ですべてを再計算するのではなく、ターゲットモデルの最終層で生成された隠れ状態（KVキャッシュ）をクロスアテンションで直接参照します。これにより、ドラフター自身が保持するパラメータ数を極限まで削ぎ落としながら、ターゲットモデルの表現力を忠実にトレースして次のトークン候補を予測します。
「Efficient Embedder」による語彙空間のクラスタリング圧縮
グルートエンドルスト氏が明かしたGemma-4ドラフターの最も先進的な工夫が、埋め込み層と出力層の軽量化を実現する「Efficient Embedder」です。通常のLLMは25万語を超える巨大な語彙数（Vocabulary Size）を抱えており、隠れ状態から確率分布を計算する言語モデリングヘッド（LM Head）の行列乗算が膨大な計算コストを消費します。ドラフターの隠れ層が256次元と極めて小さくても、語彙次元への線形変換だけで演算負荷が跳ね上がってしまいます。
そこで開発陣は、26万語以上のトークン埋め込みを意味的類似度に基づいて事前にクラスタリングし、数千個のクラスタに集約しました。ドラフターはまず、隠れ状態とクラスタ埋め込みの乗算を行い、次に現れるトークンがどのクラスタに属するかという「クラスタ・ロジット」を予測します。そして確信度上位の数クラスタ（例：上位2クラスタ）に含まれるトークンのみを抽出し、絞り込まれた候補語彙に対してのみ最終的なロジット計算を実行します。語彙空間の約90パーセント以上を計算対象から除外することで、ドラフターの推論レイテンシを劇的に短縮することに成功しました。この設計により、Samsung Galaxy S24などのモバイル環境やPixel TPU、Apple M4チップ搭載Mac上において、最大1.5倍から3.3倍の推論速度向上が確認されています。
