Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models

Created by
  • Haebom

作者

Yifan Lu, Xuanchi Ren, Jiawei Yang, Tianchang Shen, Zhangjie Wu, Jun Gao, Yue Wang, Siheng Chen, Mike Chen, Sanja Fidler, Jiahui Huang

概要

InfiniCubeは、高忠実度と制御性を備えた無限の動的3D走行シーンを作成するためのスケーラブルな方法です。従来のシーン生成方法は、規模が制限されているか、生成されたシーケンスにわたって幾何学的および外観の一貫性が欠けていました。 InfiniCubeは、スケーラブルな3D表現とビデオモデルの最近の進歩を活用し、HDマップ、車両境界ボックス、およびテキストの説明を通じて柔軟な制御を可能にする大規模なダイナミックシーンの作成を実現します。まず、マップ条件付き希少ボクセルベースの3D生成モデルを構築し、無限のボクセル世界生成機能を活用します。その後、ビデオモデルを再利用し、一連の慎重に設計されたピクセル整列ガイドバッファを介してボクセルの世界に基づいて一貫した外観を合成します。最後に、ボクセルとピクセル分岐の両方を使用する高速の順方向アプローチを提案し、動的ビデオを制御可能なオブジェクトを持つ動的3Dガウスに上昇させます。この方法は、制御可能でリアルな3D走行シーンを作成することができ、幅広い実験を通じてモデルの効果と卓越性を検証します。

Takeaways、Limitations

Takeaways:高忠実度と制御性を備えた無限のダイナミック3D走行シーン生成可能、HDマップ、車両境界ボックス、およびテキスト説明による柔軟な制御可能、既存の方法のスケール制限、および一貫性の欠如のトラブルシューティング。
Limitations:論文では明示的にLimitationsを参照しない。追加の実験と分析により、計算コスト、生成シーンの多様性、現実性の限界などを評価する必要があります。
👍