Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

WeatherEdit : Édition météo contrôlable avec champ gaussien 4D

Created by
  • Haebom

Auteur

Chenghao Qian, Wenjing Li, Yuhu Guo, Gustav Markkula

Contour

Cet article présente WeatherEdit, un nouveau pipeline d'édition météorologique permettant de générer des effets météorologiques réalistes dans des scènes 3D, avec des types et des intensités contrôlables. WeatherEdit se compose de deux composants principaux : l'édition d'arrière-plans météorologiques et la génération de particules météorologiques. Pour l'édition d'arrière-plans météorologiques, nous introduisons un adaptateur tout-en-un qui intègre plusieurs styles météorologiques dans un seul modèle de diffusion pré-entraîné afin de générer divers effets météorologiques sur des arrière-plans d'images 2D. Lors de l'inférence, nous concevons un mécanisme d'attention à vue temporelle (TV) qui suit un ordre spécifique pour agréger les informations temporelles et spatiales, garantissant une édition cohérente sur les images multi-images et multi-vues. Pour générer des particules météorologiques, nous reconstruisons d'abord la scène 3D à partir de l'image éditée, puis nous introduisons un champ gaussien 4D dynamique pour générer de la neige, de la pluie et du brouillard. Les propriétés et la dynamique de ces particules sont contrôlées avec précision par modélisation et simulation basées sur la physique, garantissant une représentation météorologique réaliste et un réglage flexible de l'intensité. Enfin, nous intégrons le champ gaussien 4D à la scène 3D pour restituer des effets météorologiques cohérents et très réalistes. Des expériences sur plusieurs ensembles de données de conduite démontrent que WeatherEdit peut générer une variété d'effets météorologiques avec des intensités de conditions contrôlables, soulignant son potentiel pour simuler la conduite autonome par temps violent.

Takeaways, Limitations

Takeaways:
Il présente une nouvelle façon de créer des effets météorologiques divers et réalistes dans des scènes 3D avec une intensité contrôlable.
La modélisation et la simulation basées sur la physique permettent une représentation météorologique réaliste et un réglage flexible de l'intensité.
Nous proposons un mécanisme d'attention TV pour un montage météo cohérent dans des images multi-images et multi-vues.
Il démontre son potentiel d’utilisation dans les simulations de conduite autonome dans des conditions météorologiques défavorables.
Limitations:
Il manque une analyse détaillée du coût de calcul et de l’efficacité des méthodes actuellement proposées.
Une évaluation plus approfondie des performances de généralisation sur différents types et intensités météorologiques est nécessaire.
L’exactitude du modèle doit être vérifiée davantage par une analyse comparative avec des données réelles.
Il peut y avoir des biais ou des limites concernant des conditions météorologiques spécifiques.
👍