NVIDIA、HBMを増やさず処理量を伸ばす設計　1ドル当たり最大30倍

AIを業務で使う企業や、AIを動かすデータセンターを運営する人にとって、GPUのメモリの量と値段は費用に直結します。個人の利用者が今すぐ変えることは、今回の発表にはありません。

NVIDIAの公式ブログは、この課題への答えとして「フルスタック共同設計」を挙げています。フルスタック共同設計とは、GPU・CPU・ネットワーク・保存装置・ソフトウェアを一体で設計する考え方です。メモリ1つあたりの仕事量を増やします。

NVIDIAは、HBM（GPUのすぐ近くにある、速いが高価なメモリ）を単純に積み増すのではないと説明しています。

重みとKVキャッシュを減らし、HBMを空ける

AIモデルは大きくなり、長い文章を扱い、道具を次々に呼び出すエージェント型のAIも増えています。ブログは、この流れでGPUのHBMに対する負荷が高まっていると述べています。

HBMの供給は逼迫し、価格も上がっています。ブログによると、この傾向は当面続くとみられています。

HBMに置かれるものは、大きく2つあります。1つはモデルの重み（AIが学習した結果の数値）、もう1つはKVキャッシュ（AIが会話の文脈を覚えておく一時的な領域）です。どちらもHBMを奪い合っています。

ブログは、HBMの容量を増やすだけでは効果が頭打ちになると説明しています。倉庫（HBM）を広げても、出入口（メモリ帯域）の処理能力が足りなければ、荷物の出し入れが遅くなります。これを「メモリの壁」と呼びます。

そこでNVIDIAは、重み・文脈・検索の索引の3つで工夫を重ねるとしています。まずは重みです。

4ビットの数値形式「NVFP4」を使うと、8ビットのFP8より重みが小さくなると説明しています。NVFP4で公開されたモデルとして、FLUX.2 [klein]やMeta Muse Sparkなどの名前も挙がっています。

さらに、72基のGPUを1つにまとめた「NVL72」という構成では、重みを最大72基に分けて持たせられます。1基あたりの持ち分が減り、空いたHBMを文脈や同時に使う利用者に回せます。

次に文脈です。KVキャッシュにもNVFP4を使うと、FP8より小さくなり、HBMに多くの文脈を残せます。使っていない文脈は、保存領域へ移します。

ブログは、推論を動かすソフト「NVIDIA Dynamo」が、文脈専用の保存領域「CMX」へ移し、再利用の直前に戻すと説明しています。CMXはサーバーをまたいで共有でき、企業向けストレージのような長期の保存機能は省いているとしています。

対応パートナーには、Dell TechnologiesやHPE、NetAppなどが挙がっています。Vera CPUのLPDDRメモリも、CPUとGPUを高速につなぐ接続「NVLink-C2C」を通じて、止まっている文脈の待機場所になるとしています。

最後は検索です。社内文書を探すRAG（検索で得た情報をAIに渡す仕組み）では、文書を「埋め込み」（意味で検索するための数値表現）にして索引を作ります。

ブログは、NVIDIA Nemotron Retrieverモデルが、より小さな埋め込みで高い検索精度を出すとしています。索引はHBMの外に置き、必要な段落だけをAIの文脈に入れます。

日本の運用者にとって効くのは、1ドル当たりの処理量

ブログは、SemiAnalysis AgentXのDeepSeek V4 Proという作業で測った結果を示しています。

• GB300 NVL72は、H200プラットフォームに比べて1ドル当たりの処理量が最大10倍です（ユーザー1人あたり毎秒100トークンの条件）。GPUあたりのHBM容量は約2倍になっています。
• Vera Rubin NVL72は、GB300 NVL72に比べて最大30倍です（ユーザー1人あたり毎秒125トークンの条件）。GPUあたりのHBM容量は約3%増です。

HBM容量の伸びは小さいのに、処理量は大きく伸びています。ブログは、AIデータセンターで大事なのは、応答時間の条件を満たしながら電力の範囲で何トークンを届けられるかだと述べています。

電力1ワットあたりの毎秒トークン数が増えれば、同じ電力でより多くの仕事を処理できると説明しています。

Vera Rubin NVL72は、サイソクが10月26日に報じたGTC Berlinの発表で取り上げた計算基盤です（GTC Berlinの発表記事）。

編集部の見方では、30倍という数字は、ユーザーあたり毎秒125トークンという条件と、AgentXの特定の作業量で比べた値です。条件が変われば数字も変わります。自社の使い方に当てはめる前に、同じ条件での比較を確かめるとよいでしょう。