米NVIDIAは、次世代のAIシステムである「エージェントAI（Agentic AI）」の構築において、単一の巨大モデルに依存せず、複数のモデルを適材適所で組み合わせる「System of Models（モデルのシステム）」が必要不可欠であるとする見解を示しました。複雑な計画立案には最先端のフロンティアモデルを割り当て、文書要約などの個別タスクには軽量なオープンソースモデルを動的に配備します。これにより、処理精度、実行速度、そして運用コストの3要素を最適化する実用的なAIエージェントの設計思想を提唱しています。
何が発表されたのか
米NVIDIAは公式動画を通じて、自律的にタスクを実行する「エージェントAI（Agentic AI）」の社会実装に向けた新たな設計思想を提示しました。同社で開発を主導する担当者は、1つの巨大なLLM（大規模言語モデル）にすべての処理を委ねる従来のアプローチから脱却し、役割の異なる複数のモデルを協調させる「System of Models（モデルのシステム）」の構築が必要であると主張しています。
このアプローチは、特定の商用サービスや単一のオープンソースモデルに依存するのではなく、タスクの難易度や性質に応じて最適なモデルへ処理を動的に振り分ける（ルーティングする）仕組みを指します。本発表は、特定の単一製品のリリースではなく、NVIDIAが推進するエンタープライズAI向けソフトウェア群「NVIDIA NIM（NVIDIA Inference Microservices）」や「NVIDIA NeMo」などの技術スタックが目指す、実践的なシステムアーキテクチャの方向性を明確にしたものです。
発表された機能・アップデートの全容
動画内で示された「System of Models」のコンセプトを具現化する要素について、技術的な背景知識を交えて詳細に解説します。
1. フロンティアモデルとオープンモデルのハイブリッド協調
動画内の登壇者は、「複雑な計画（complex plan）を立てるためには、極めて高性能なフロンティアモデル（frontier model）を使用したいと考えるでしょう」と述べています。ここで指すフロンティアモデルとは、GPT-4やClaude 3.5 Sonnetといった、業界最先端の推論能力を持つ商用クローズドモデル（あるいはそれに匹敵する超巨大モデル）のことです。エージェントAIが自律的に行動する際、全体のゴールを分解し、実行可能なステップに落とし込む「プランニング」のフェーズでは、これらの高い知能を持つモデルが不可欠となります。
一方で、すべてのタスクにフロンティアモデルを適用することは、リソースの無駄遣いにつながります。登壇者は「文書の要約（document summarization）などには、オープンモデル（open models）を使用したいはずです」と指摘します。Llama 3やMistralといったオープンウェイトモデルは、特定のタスクに特化してファインチューニングを行うことで、特定の領域においてフロンティアモデルと同等以上の精度を、はるかに高速かつ低コストで発揮できます。この「知能の適材適所」こそが、System of Modelsの根幹です。
2. タスクルーティングによる動的割り当て（編集部注）
System of Modelsを実用化するためには、ユーザーからの指示やエージェントの内部処理を解析し、どのモデルに処理を投げるかを判断する「ルーター（Router）」と呼ばれるコンポーネントが必要になります。NVIDIAは、自社のAIプラットフォームにおいて、このルーティング処理を高速化するためのマイクロサービスを提供しています。
例えば、ユーザーが「社内のPDF資料100枚を要約し、そのデータに基づいて来期の売上予測シミュレーションを実行せよ」と指示した場合、ルーターは以下のようにタスクを分解して割り振ります。
- 文書要約タスク: ローカルまたはプライベートクラウド上の軽量なオープンモデル（Llama 3 8Bなど）に並列処理させ、高速かつ安価にテキストを圧縮する。
- 予測シミュレーションの計画策定: 圧縮された要約データをインプットとして、高度な推論能力を持つフロンティアモデルに「どのような数理モデルを用いて予測すべきか」の計画を立てさせる。
- コード実行・検証: 計画に基づき、Pythonコードを実行する専用の軽量コード生成モデルに処理を投げる。
このように、1つのプロンプトに対して複数のモデルが裏側でリレー形式で処理を行うことで、システム全体の効率を最大化します。
3. コスト効率（Cost-Effectiveness）の最大化
登壇者は、「手元の課題に対処するためにモデルのシステムを利用し、それを最もコスト効率よく（most cost-effectively）実行できるエージェントを構築することが、私たち全員に利益をもたらす」と強調しています。エンタープライズ環境において、AIエージェントを24時間365日稼働させる場合、APIのクエリコストやハードウェアの電気代は無視できない経営課題となります。
すべての処理を外部のフロンティアモデルAPIに依存すると、トークン消費量に伴ってコストが指数関数的に増大します。しかし、処理の8割を占める定型的なタスク（データの整形、要約、単純な分類など）を、NVIDIAのGPU上で最適化されたオープンモデルにオフロードすることで、全体の運用コストを数分の一から数十分の一に削減することが可能になります。
4. NVIDIA NIMによる推論の超高速化（編集部注）
このSystem of Modelsを支えるNVIDIAの具体的な技術が「NVIDIA NIM（NVIDIA Inference Microservices）」です。NIMは、オープンモデル（Llama 3、Mistral、Gemmaなど）を、NVIDIAの推論エンジン「TensorRT-LLM」や「Triton Inference Server」とパッケージ化し、コンテナとして即座にデプロイできるようにしたソフトウェアです。
NIMを使用することで、開発者は自社環境にホストしたオープンモデルを、標準的なOpenAI互換のAPI経由で呼び出すことができます。これにより、フロンティアモデルのAPIを呼び出すコードと、自社運用のオープンモデルを呼び出すコードを同一の規格で統一でき、System of Modelsの構築が極めて容易になります。
性能・ベンチマーク
本動画内では、具体的な数値によるベンチマークスコアの提示は行われていません。しかし、NVIDIAが過去に発表している一般的な技術資料およびLLMルーティングに関する学術的な知見に基づき、System of Modelsを導入した際の効果を以下の表に整理します（数値は編集部注による一般的な目安です）。
| 評価指標 |
単一のフロンティアモデル（例: GPT-4クラス）単体利用 |
System of Models（フロンティア + オープンモデルの協調） |
改善効果（編集部注） |
| 100万トークンあたりの平均コスト |
約 5.00 〜 15.00 ドル |
約 0.50 〜 2.00 ドル |
約 70% 〜 90% のコスト削減 |
| 単純タスク（要約・分類）の応答速度（TTFT） |
遅い（1.0秒〜2.0秒） |
極めて速い（0.1秒〜0.3秒） |
最大 5倍〜10倍 の高速化 |
| 複雑なタスク（計画立案・推論）の成功率 |
高い（基準値） |
同等（フロンティアモデルが処理を担当するため） |
精度を落とさずに運用可能 |
| データプライバシー・セキュリティ |
懸念あり（外部APIへの全データ送信が必要） |
良好（機密データはローカルのオープンモデルで処理） |
セキュリティリスクの低減 |
（※上記数値は、一般的なRouter LLMおよびNVIDIA NIMを用いたハイブリッド運用のベンチマーク結果を参考に、編集部が作成した比較イメージです。）
競合サービスとの比較
エージェントAIの構築プラットフォームを提供する競合他社のアプローチと、NVIDIAが提唱する「System of Models」のアプローチを比較します。
| 項目 |
NVIDIA (System of Models / NIM) |
OpenAI (Assistants API / Swarm) |
Microsoft (AutoGen) |
Google (Vertex AI Agent Builder) |
| モデルの選択肢 |
極めて高い（商用・オープンソースを問わず自由に統合可能） |
低い（OpenAI製のモデルに限定） |
高い（Azure経由で複数モデルに対応、ただしインフラはAzure推奨） |
中〜高（Gemini中心、一部サードパーティモデルに対応） |
| インフラの柔軟性 |
極めて高い（オンプレミス、各種クラウド、エッジ環境に対応） |
なし（OpenAIのマネージドクラウド限定） |
中（Azureクラウド環境が前提） |
中（Google Cloud環境が前提） |
| コスト最適化の手段 |
豊富（自社GPUでのオープンモデル運用によるコスト削減） |
限定的（API価格の改定やキャッシュ機能に依存） |
中（Azure上のホストモデルの選択肢による） |
中（Geminiのサイズ選択による） |
| 強み（編集部見立て） |
特定のモデルベンダーに依存しないため、将来的なモデルの進化に柔軟追従可能。 |
自社モデルの性能が極めて高く、APIを呼び出すだけで手軽にエージェントを構築できる。 |
.NETやPythonによる開発エコシステムが強力で、エンタープライズシステムとの親和性が高い。 |
Google検索や自社サービス（Workspace等）との強力なグラウンディング（根拠付け）連携。 |
| 弱み（編集部見立て） |
自社でGPUインフラを管理するか、NIMを動かすコンテナ環境を保守する知識が必要。 |
データの外部送信が必須であり、API障害時にシステム全体が停止するリスクがある。 |
Microsoftの技術スタックに依存しがちで、マルチクラウド運用時の構成が複雑になる。 |
Google Cloud以外の環境へのデプロイ自由度が低い。 |
取材班の見立てでは、NVIDIAの最大の強みは「ハードウェアからソフトウェアまでの垂直統合」にあります。競合が自社のクラウドやモデルへの囲い込みを図る中、NVIDIAは「どのモデルを使ってもよいが、その実行基盤にはNVIDIAのGPUとNIMを使ってほしい」というスタンスをとっており、これがユーザー企業にとっての選択の自由度（ベンダーロックインの回避）につながっています。
料金・提供プラン
本動画内では、具体的な料金やライセンスプランについての言及はありません。以下は、NVIDIAが提供している既存の関連製品の料金体系に基づき、編集部が補足する情報です。
- NVIDIA API Catalog（開発者向け評価枠）:
- build.nvidia.com にて、各種オープンモデル（Llama 3、Mistralなど）のNIMをクラウド上でテストするための無料クレジットが提供されています。開発段階では、APIキーを取得するだけで無償で試作が可能です。
- NVIDIA AI Enterprise（商用ライセンス）:
- 企業が自社環境（オンプレミスまたはクラウド）のGPUにNIMをデプロイして本番運用する場合、ソフトウェアスイート「NVIDIA AI Enterprise」の契約が必要です。
- 標準価格は、1GPU（年間）あたり4,500ドル、もしくは主要クラウド（AWS、Azure、GCP）を通じて1GPU時間あたり1ドルの従量課金制となっています。
日本から使う方法
日本のユーザーが、NVIDIAの提唱するマルチモデルアプローチ（System of Models）を体験・開発するための具体的な手順は以下の通りです。
- NVIDIA build にアクセスする
- ブラウザで「build.nvidia.com」にアクセスします。
- NVIDIA Developer アカウントの作成
- 右上のログインボタンから、NVIDIA Developerアカウントを新規作成（無料）します。
- APIキーの取得とテスト実行
- カタログから、使用したいモデル（例：「Llama-3-70b-Instruct」など）を選択します。
- 画面上でプロンプトを入力して挙動を確認できるほか、Pythonやcurl用のコードスニペットが生成されるため、APIキーを発行してローカルの開発環境から呼び出せます。
- 日本語対応について
- 提供されているLlama 3やMixtralなどのオープンモデルは多言語に対応しており、日本語での指示・要約も問題なく実行可能です。
- 注意点
- 開発者向けの無料枠にはAPIのレートリミット（呼び出し回数制限）が設定されているため、本番サービスにそのまま組み込むことは避けてください。商用運用の際は、自社のGPUサーバーにNIMをコンテナデプロイするか、各クラウドベンダーが提供するマネージドなNIMサービスを利用する必要があります。
誰にどう効くのか
NVIDIAが提唱する「System of Models」という設計思想は、企業の各ポジションにおいて以下のような実務的なインパクトをもたらします。
エンジニア（開発・運用担当者）
- メリット: 特定のLLM APIの仕様変更やサービス終了（非推奨化）に伴うシステム破綻のリスクを排除できます。モデルの入れ替えが容易になり、例えば「より軽量で高性能な新しいオープンモデル」が登場した際、ルーターの設定を変更するだけでシステム全体をアップデートできます。
- アクション: NVIDIA NIMのAPI仕様（OpenAI互換）を理解し、LangChainやLlamaIndexなどのオーケストレーションフレームワークと組み合わせて、モデル間のデータ連携（ルーティング）を実装するスキルを習得すべきです。
企画・マーケティング担当者
- メリット: AIエージェントを活用した新規サービス（高度なカスタマーサポート、パーソナライズされた提案エンジンなど）を企画する際、ボトルネックとなっていた「APIコスト」の問題をクリアできます。要約や定型処理を安価なモデルに任せることで、採算性の合うサービス設計が可能になります。
- アクション: ユーザー体験（UX）において「どの処理に高い知能（フロンティアモデル）が必要で、どの処理は高速な応答（オープンモデル）が求められるか」を整理し、システム設計者と要件を共有します。
経営層（CIO・CTO・DX推進責任者）
- メリット: 特定のAIベンダー（OpenAIやMicrosoft等）に依存する「ベンダーロックイン」の経営リスクを回避できます。自社のデータセンターやプライベートクラウド（NVIDIA GPU環境）を活用することで、重要データを外部に流出させることなく、安全かつ低コストに社内AIエージェントを自社資産として蓄積できます。
- アクション: クラウド全振りのAI戦略を見直し、オンプレミス（またはハイブリッドクラウド）でのGPUインフラ投資と、オープンモデルを活用した内製化体制の構築に向けたロードマップを策定すべきです。
まとめ
NVIDIAが示した「System of Models」は、エージェントAIを実用フェーズへと引き上げるための極めて現実的な解法です。すべての処理を1つの超巨大LLMに頼る時代は終わり、タスクに応じて「フロンティアモデル」と「オープンモデル」を使い分けるハイブリッドなシステム設計が、今後のデファクトスタンダードになると予想されます。読者の皆様におかれましては、まずは「build.nvidia.com」にて提供されている各種NIM APIに触れ、複数のモデルを組み合わせたプロトタイプ開発に着手することをお勧めします。
