概要
NVIDIAは「世界モデル」の開発基盤「NVIDIA Cosmos」の最新情報を公開しました。物理世界を理解して予測するための基盤です。
自動運転やロボット、外科手術などの分野で、リアルなシミュレーションデータを効率よく生成できるようになります。
何が発表された?
NVIDIA Developer Blogによると、物理AI向けの世界モデルと開発ツール群が拡充されました。「NVIDIA Cosmos」のフレームワークおよび推論ツールが対象です。
今回の発表は、研究者や開発者のための仕組みを整えたものです。自前のセンサーやタスクに合わせてモデルを適応させ、実際のアプリケーションへスムーズに展開できます。
プラットフォームの主な構成要素は次のとおりです。
- Cosmos Framework:トレーニング、強化学習、最適化、推論を行うためのオープンでモジュール式のツール
- Cosmos NIMマイクロサービス:量子化やルーティングによりGPUアクセラレーションを提供する推論用コンテナ
- Cosmos 3 Nanoシミュレーションレシピ:自動運転やロボット、手術シナリオ向けの同期されたカメラ映像やLiDAR(光による測距)の観測データを生成
あわせて読みたいNVIDIA Halos SAFE発表:自動運転の安全評価基盤→前と何が違う?
自動運転向けの同期ビデオ・LiDAR生成
Cosmos3-Nano-Transfer-Autoは、プロンプトと周辺地図情報(WSMコントロール)を読み込みます。これで30 fpsのマルチビュー動画とLiDARデータを同時に生成します。昼のドライブ映像を雨の夜の映像に変化させるなど、条件を変えた合成データを効率よく作ることができます。
自律走行のリアルタイムシミュレーション
Cosmos3-Nano-Sim-Autoは、AIのポリシーや人間の操作に合わせてカメラ映像やLiDAR観測データを段階的に生成します。物理シミュレータと連携する仕組みです。これで、閉じられたループの中で自律走行ポリシーを評価できるようになります。
ロボットアームや外科手術のシミュレーション
ロボットのデモ動画における視点変更を行う「Sim-Transfer」が提供されます。双腕ロボットの次の動きを予測する「Sim-Bimanual」もあります。さらに、外科手術の複雑な物理挙動を再現するモデルも含まれています。手術動画とロボットの動きから視覚的ダイナミクスを学ぶモデルです。
数字で見るとどう変わった?
公式ブログで示された数値やメモリ要件は次のとおりです。
- Cosmos NIMの推論速度:H200 GPU環境において、量子化やキャッシュ制御の最適化により、従来比で約2〜3倍の高速化を達成。
- メモリ要件:Cosmos3-Nanoの生成では、BF16で58 GiB、オフロードを使用したFP8で44 GiBのGPUメモリが必要。
- 生成仕様:Transfer-Autoでは、30 fpsの入力・出力ビデオで、480pまたは720pの解像度で最大400フレームの生成をサポート。
ライバルと比べてどう?
Cosmosは、NVIDIAのハードウェアと深く統合されています。HopperやBlackwellなどのGPUと連携します。自動運転やロボット工学に特化した物理AIの開発基盤です。
汎用的な動画生成モデルとは異なります。LiDARデータやロボットのキネマティクス(運動学)と直接連携できる点が大きな特徴です。
料金は?
公式ブログ内では具体的な価格の言及はありません。モデルのチェックポイントやフレームワークはオープンに提供されています。対応するGPU環境を用意して利用する形になります。
日本で使える?
日本国内のユーザーも利用できます。インターネット経由でNVIDIA Developer BlogやGitHub、Hugging Faceなどの公開リポジトリにアクセスします。
今日から試すための大まかな手順は次のとおりです。
- 公式の開発者ブログや関連ドキュメントを確認する。
- 推奨されるNVIDIA GPU(HopperやBlackwellなど)と十分なメモリを備えた開発環境を準備する。
- Hugging Faceなどから必要なモデルのチェックポイントをダウンロードする。
- Cosmos Frameworkのスクリプトを使って推論やシミュレーションの検証を行う。
自分にはどう関係する?
エンジニアなら
自動運転やロボット制御、医療シミュレーションの開発において活用できます。高品質な合成データを効率よく作成する手段になります。
企画・マーケティングなら
シミュレーション技術が向上します。新しいロボットや自動運転システムの開発期間短縮や検証コスト削減の可能性を見据えることができます。
経営者・管理者なら
物理AI分野への投資対効果を高めるための基盤技術として役立ちます。NVIDIAエコシステムを活用した開発体制の強化を検討する材料になります。
まとめ
NVIDIA Cosmosを活用することで、物理AIの開発者は高品質なシミュレーションデータを自前で素早く用意できるようになります。まずは公式ドキュメントとサンプルコードに目を通してください。そして手元の環境で動作確認を進めてみてください。