概要
AWSはNVIDIAの最新マルチモーダルAIモデル「NVIDIA Nemotron 3.5 Super VL」をAmazon EKSなどでサポートすると発表しました。
テキストだけでなく画像や動画の理解を1つのモデルで処理できるオープンモデルです。
企業のインフラ上でカスタマイズして実行できるようになります。
このモデルの導入により、複雑なマルチモーダル処理と高度な推論を組み合わせた最先端のAIエージェント開発がAWS環境で迅速に実現できます。
何が発表された?
AWS Machine Learning Blogによると、NVIDIA Nemotron 3.5 Super VLがAWS上で利用可能になりました。
本モデルは120B(1200億)パラメータを持つMixture-of-Experts(MoE)モデルです。
トークンごとに12Bのパラメータをアクティブ化します。
テキスト、画像、ドキュメント、動画の入力を受け付けます。
テキストを出力するマルチモーダルなオープンモデルとして提供されます。
AWS上の以下の環境でデプロイが可能です。
- Amazon Elastic Kubernetes Service (Amazon EKS)
- Amazon EKS Auto Mode
- Amazon SageMaker HyperPod EKS
NVIDIAは重み、トレーニングデータセット、ポストトレーニングのレシピを公開しています。
これにより、企業は自社のセキュリティ基準を満たす管理下でモデルをカスタマイズできます。
アーキテクチャと技術的特徴はどうなっている?
Nemotron 3.5 Super VLはハイブリッドなMamba-Transformer MoEアーキテクチャを採用しています。
Mamba-2、アテンション、エキスパート層を組み合わせています。
これにより、長大なコンテキスト長を効率的に処理できます。
最大1Mトークンに対応しつつ、メモリ消費を抑えることが可能です。
また、ビジョンエンコーダーとしてRADIOを採用しています。
視覚的な情報もスムーズに取り込みます。
スパースルーティングの仕組みにより、全120Bの重みを保持します。
その上で計算量を大幅に削減します。
Mamba-2層の一定サイズのステート管理により効率的な長文脈処理を行います。
これはKVキャッシュに依存しません。
マルチトークン予測(MTP)ヘッドによりネイティブな推論の高速化も支えられています。
どのようなユースケースに対応するのか?
本モデルはエージェントワークフローをサポートします。
推論と視覚的理解を組み合わせたワークフローです。
具体的には以下の活用が想定されています。
- コーディング支援(コードの検証やエラー分析を行う)
- ウェブ調査(検索ツールのソースをクロスリファレンスする)
- ドキュメント読み取り(グラフや表を含むドキュメントを処理する)
- サイバーセキュリティ(脅威トリアージを行う)
- 動画分析(動画の検索やインシデント分析を行う)
NVIDIAエージェントツールキットなどのリファレンス実装が提供されます。
クックブックも用意されています。
これらを通じて主要なオープンエージェントフレームワークと連携します。
開発者は高度なエージェントシステムを自社の業務プロセスへ容易に統合できるようになります。
AWS上でのデプロイと性能検証はどう行うのか?
AWSの参考実装では、Amazon EKSやSageMaker HyperPod EKSを用います。
NVIDIA DynamoやvLLMを介してモデルを効率的にサービングします。
パフォーマンスの検証にはNVIDIAの「aiperf」ツールを使用します。
これにより以下の重要指標を測定できます。
- 初回トークン生成時間(TTFT)
- トークン間レイテンシ(ITL)
- スループット(TPS)
プレフィルとデコードを異なるノードに分離する構成をとります。
これはディスアグリゲーションと呼ばれます。
この構成により、レイテンシとスループットのバランスを最適化できます。
コンテナ環境ではAmazon ECRを活用します。
Amazon FSx for Lustreでモデルウェイトを共有します。
EFA接続による高速なGPU間通信が検証の信頼性を高めます。
料金は?
モデル自体の重みや学習データはオープンに公開されています。
トレーニングレシピもNVIDIAによって公開されています。
AWS上での利用料金は各種インスタンス料金に準じます。
対象となるのはAmazon EKSやSageMaker HyperPod、Amazon EC2です。
具体的にはp6-b200.48xlargeやp5en.48xlargeなどが該当します。
関連するストレージ料金も発生します。
明示された最小GPU構成に基づき、適切なインスタンス数を選択します。
これによりコストを最適化できます。
日本で使える?
日本国内のAWS環境においても同様の手順で利用可能です。
対応するリージョンおよびインスタンスを利用します。
具体的にはB200やH200などを搭載したインスタンスが対象です。
これにより、デプロイおよび検証が行えます。
グローバルなクラウドインフラストラクチャを活用できます。
国内の企業や開発者も最新のマルチモーダルAIを迅速に実用化できます。
これまでの流れ
今回の発表により、NVIDIAの最新モデル群がAWSの環境で運用できるようになります。
マネージドなKubernetes環境でシームレスに動作します。
企業の生成AIエージェント開発がさらに加速することになります。
まとめ
AWSとNVIDIAの連携により、大規模なモデルのインフラ構築が容易になりました。
マルチモーダルAIモデルを簡単に扱えるようになります。
開発者は公開されているリファレンス実装を参考にしてください。
自身のAWSアカウントでNemotron 3.5 Super VLの検証を始めてみてください。