概要
NVIDIAの開発者向け公式ブログによると、AI半導体のNVIDIAが大規模AIの分散推論フレームワーク「NVIDIA Dynamo」をKubernetes上で動かすための実行基盤「AI Cluster Runtime(AICR)」を発表しました。GPUドライバやスケジューラなどの複雑な依存関係をレシピとしてパッケージ化し、再現性の高い環境構築を可能にします。
何が発表された?
今回の発表は、AIモデルの運用を効率化するプラットフォーム「NVIDIA DSX AI Factory Platform」の一環として提供される「AI Cluster Runtime(AICR)」の解説です。AIアプリケーションを開発するチームは、モデルの配備だけでなく、GPUドライバやリソース割り当て、スケジューリング、監視といった下回りのインフラを正しく連携させる必要があります。
AICRは、こうしたインフラの要件を「レシピ」としてまとめ、バージョンや依存関係を固定した状態でデプロイできるようにするものです。今回はDynamoのバージョン1.4.2を対象に、Kubernetes上で安定した推論環境を構築するための手順と仕組みが示されました。
AICRは何をパッケージ化しているのか?
NVIDIAの公式ブログによると、AICRのレシピにはDynamo本体だけでなく、それを支える様々なインフラコンポーネントが含まれています。
- NVIDIA GPU Operator: ノードに一致するドライバおよびGPUソフトウェアスタック
- Node Feature Discovery: GPUノードのラベル付けと検出
- DRA Driver for NVIDIA GPUs: Kubernetesネイティブな動的リソース割り当て(DRA)
- KAI Scheduler: 必要なトポロジとギャングスケジューリングを備えたGPUワーカーの配置
- Grove: マルチコンポーネントのサービンググラフの協調グループとしての起動・配置・スケーリング
- NVSentinel / Nodewright: 劣化ノードを事前に検知するヘルス信号
- Prometheus stack: クラスタ、アクセラレータ、Dynamoサービスのメトリクス収集
- agentgateway: KubernetesネイティブなイングレスのためのGateway APIリソース
これらをあらかじめ定義されたレシピとして適用することで、環境構築の手間を大きく減らします。
Dynamoのルーティング方式はどう選ぶのか?
Dynamoは、Kubernetes上で動作する際に2つのルーティング経路をサポートしています。AICRはいずれのトポロジも検証済みとして提供しています。
1つ目は「Dynamo Frontend router」です。リクエストをトークン化し、キャッシュの重複や現在の負荷に基づいて最適なワーカーを選択します。モデルごとのエンドポイントをシンプルに管理したい場合に適しています。
2つ目は「Gateway API Inference Extension (GAIE) と Dynamo EPP」です。Kubernetesの共有イングレス(入口)と統合し、Gateway APIの仕組みを通じてトラフィックの制御やフォールバックを行いたい場合に適しています。
料金は?
NVIDIA Developer Blogおよび関連するオープンソースプロジェクトの案内では、特定のライセンス費用や価格についての言及はありません。
日本で使える?
日本から利用可能です。NVIDIAの公式開発者向けブログやGitHubなどの公開リポジトリにアクセスできる環境であれば、日本の開発者も今日からドキュメントやレシピを参照して試すことができます。
自分にはどう関係する?
エンジニアなら
Kubernetes上で大規模なLLM(大規模言語モデル)の推論基盤を構築・運用する際、面倒なインフラの依存関係の整理を自動化・標準化するための強力な選択肢になります。
企画・マーケティングなら
直接のエンドユーザー向け機能ではありませんが、企業がAIサービスをより安定して、かつ効率的に運用するための基盤技術の動向として理解しておくと役立ちます。
経営者・管理者なら
AIインフラの構築にかかるエンジニアの工数を削減し、開発チームがモデルの検証やアプリケーションの統合に集中できる環境を整えるための参考にできます。
これまでの流れ
今回の発表は、前回のGTCで示されたAI工場向けのプラットフォーム構想を、具体的なKubernetes上のランタイム実行基盤であるAICRとしてさらに実務向けに落とし込んだものです。
まとめ
今後は、NVIDIAの公式ドキュメントやリポジトリを通じてAICRの構成を確認し、実際のKubernetes環境での導入検証を進めることが推奨されます。AIインフラの構築に携わるチームは、最新のバージョンやルーティングの仕様をチェックしておくとよいでしょう。