Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

WeatherEdit : Édition météo contrôlable avec champ gaussien 4D

Created by
  • Haebom

Auteur

Chenghao Qian, Wenjing Li, Yuhu Guo, Gustav Markkula

Contour

Cet article présente WeatherEdit, un nouveau pipeline d'édition météo permettant de générer des effets météorologiques réalistes dans des scènes 3D, avec des types et des intensités contrôlables. WeatherEdit se compose de deux composants principaux : l'édition d'arrière-plans météo et la génération de particules météorologiques. Pour l'édition d'arrière-plans météo, nous introduisons un adaptateur tout-en-un qui intègre plusieurs styles météorologiques dans un seul modèle de diffusion pré-entraîné afin de générer divers effets météorologiques sur des arrière-plans d'images 2D. Lors de l'inférence, nous concevons un mécanisme d'attention temporelle (TV) qui suit un ordre spécifique pour agréger les informations temporelles et spatiales, garantissant ainsi une édition cohérente sur les images multi-images et multi-vues. Pour générer des particules météorologiques, nous reconstruisons d'abord la scène 3D à partir de l'image éditée, puis nous introduisons un champ gaussien 4D dynamique pour générer des flocons de neige, des gouttes de pluie et du brouillard. Les propriétés et la dynamique de ces particules sont contrôlées avec précision par modélisation et simulation basées sur la physique afin de garantir une représentation météorologique réaliste et un réglage flexible de l'intensité. Enfin, nous intégrons le champ gaussien 4D à la scène 3D pour restituer des effets météorologiques cohérents et très réalistes. Des expériences sur plusieurs ensembles de données de conduite démontrent que WeatherEdit est capable de générer une variété d'effets météorologiques avec une intensité de condition contrôlable, soulignant son potentiel pour simuler la conduite autonome par temps violent.

Takeaways, Limitations

Takeaways:
Présente un nouveau pipeline permettant de générer des effets météorologiques réalistes et contrôlables dans des scènes 3D.
ÉDition météo efficace et cohérente avec un adaptateur tout-en-un qui intègre plusieurs styles météo et un mécanisme d'attention temporelle.
Créez des particules météorologiques réalistes avec une intensité réglable à l'aide d'une modélisation et d'une simulation basées sur la physique.
Il peut être utilisé pour simuler efficacement des conditions météorologiques défavorables dans les simulations de conduite autonome.
Limitations:
Une validation supplémentaire des performances de généralisation est nécessaire en évaluant les performances sur des ensembles de données spécifiques.
La génération de particules à l'aide de champs gaussiens 4D peut être coûteuse en termes de calcul.
Des recherches supplémentaires sont nécessaires sur l’évolutivité en fonction de divers phénomènes météorologiques et des différences par rapport aux environnements réels.
👍