NVIDIAはSIGGRAPH 2025で、物理AIの発展を支える一連のソフトウェアおよび研究上のイノベーションを発表した。物理AIは、ニューラルグラフィックス、合成データ生成、物理ベースのシミュレーション、強化学習、推論能力を組み合わせる分野である。同社は、これらの技術がロボット、自動運転車、スマートスペース、コンテンツ制作アプリケーションを支援できるとしている。
SIGGRAPHは8月14日までバンクーバーで開催され、NVIDIA Researchの幹部が、物理AIおよび空間AIを可能にするグラフィックスとシミュレーションのイノベーションについて特別講演を行う。NVIDIAのAI研究担当バイスプレジデントであるSanja Fidlerは、AIがシミュレーションの能力を高める一方、シミュレーションがAIシステムを発展させており、両分野の関係は強力で独自性のある結合だと述べた。
物理AI開発のためのライブラリとモデル
NVIDIAは同カンファレンスで、物理AI向けの新しいソフトウェアライブラリを発表した。その中には、3D Gaussian splatting技術を用いて大規模に世界を再構築するためのNVIDIA Omniverse NuRecライブラリが含まれる。また、視覚インテリジェンス向けのNVIDIA Metropolisプラットフォームのアップデートに加え、推論モデルであるNVIDIA CosmosとNVIDIA Nemotronも紹介した。
発表の一つが、物理AI向けの新しい視覚言語推論モデルであるCosmos Reasonである。NVIDIAによると、このモデルはロボットや視覚インテリジェンスエージェントが、事前知識、物理の理解、一般論理に基づき、人間に似た方法で推論することを可能にする。
訓練のための仮想世界の構築
NVIDIAは、物理AIの開発は、物理法則に従う高精度な3D環境の構築から始まると考えている。こうした環境により、人型ロボットなどの高度なシステムをシミュレーション内で安全に訓練でき、習得したスキルが現実世界へ移行する可能性も高められる。
NVIDIAの研究担当バイスプレジデントであるMing-Yu Liuは、こうした仮想世界には、リアルタイムレンダリング、コンピュータビジョン、物理運動シミュレーション、2Dおよび3D生成AI、さらに推論能力が必要だと述べた。また、NVIDIA Researchはこれらの分野に約20年にわたって取り組んできたと付け加えた。
チームの研究にはニューラル再構成とニューラルレンダリングが含まれる。これらはAIを利用して、カメラやセンサーで取得したデータを現実的な3D表現へ変換する。Fidlerが率いるSpatial Intelligence研究所は、ViPE（Video Pose Engine）も発表した。これは、Dynamic Vision LabおよびNVIDIA Isaacチームとの協力で開発された、動画に3D幾何アノテーションを付与するパイプラインである。このツールは、アマチュアの録画、自動車カメラ、映画撮影映像からカメラの動きを推定し、詳細な深度マップを生成する。
SIGGRAPHで12本以上の研究論文
NVIDIA Researchは同カンファレンスで、ニューラルレンダリング、リアルタイムレイトレーシング、合成データ生成、強化学習に関する12本以上の研究論文を発表する。そのうちの一つは、画像または動画から物理を考慮した3D形状を再構築する研究であり、視覚的には正しく見えても、シミュレーション内で構造的な安定性を欠く形状が生成されることを防ぐことを目的としている。
別の論文では、モーションジェネレーターと物理ベースの追跡制御ユニットを組み合わせ、シミュレーション内のキャラクターに物理的に正確な動きを付与する手法を提示している。生成されたデータは、仮想キャラクターの開発や、パルクールや困難な地形の踏破など、複雑な動作を人型ロボットに訓練するために利用できる。
その他の研究では、光とマテリアルのシミュレーションも扱っている。NVIDIAのチームは、拡散モデルと物理ベースの微分可能レンダラーを使用し、テキストコマンドによってマテリアルのテクスチャマップを編集するAIアシスタントを発表した。これにより、3Dモデルに風化や経年劣化の痕跡などのディテールを追加できる。別の論文では、画像や動画からの3D形状再構築を高速化し、その精度を向上させることを目的とした、微分可能な視覚クエリについて検討している。
これらの研究は、3Dモデルを2D画像へ変換する前向きレンダリングと、画像から3Dモデルを抽出する逆レンダリングを結び付ける。NVIDIAは、この統合によって、物理AIシステムの訓練に利用できる仮想世界と合成データを構築するための基本要素が提供されると考えている。