Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Salpicaduras gaussianas completas a partir de una sola imagen con modelos de difusión con eliminación de ruido

Created by
  • Haebom

Autor

Ziwei Liao, Mohamed Sayed, Steven L. Waslander, Sara Vicente, Daniyar Turmukhambetov, Michael Firman

Describir

Este artículo propone un método novedoso para reconstruir escenas 3D completas a partir de una sola imagen mediante salpicaduras gaussianas. Las técnicas actuales de salpicaduras gaussianas requieren datos de observación densos y presentan dificultades para reconstruir regiones ocluidas o no observadas. Este estudio utiliza un modelo de difusión latente para reconstruir una escena 3D completa, incluyendo las regiones ocluidas, a partir de una sola imagen. Completar la superficie de las regiones ocluidas es un problema complejo debido a la ambigüedad. Los métodos existentes se basan en enfoques basados ​​en regresión que predicen un único "modo", lo que genera desenfoque, interpretaciones poco realistas e imposibilidad de interpretar múltiples regiones. En contraste, este estudio propone un método generativo que aprende la distribución de la representación 3D de las salpicaduras gaussianas a partir de una única imagen de entrada. Para abordar la falta de datos precisos, proponemos un autoreconstructor variacional que aprende el espacio latente utilizando únicamente imágenes 2D mediante un enfoque de aprendizaje autosupervisado y, posteriormente, entrena un modelo de difusión basado en este modelo. Como resultado, nuestro método logra reconstrucciones fieles y un conjunto de muestras diverso, lo que permite completar superficies ocluidas para una representación de 360 ​​grados de alta calidad.

Takeaways, Limitations

Takeaways:
Reconstrucción de una escena 3D completa, incluidas las áreas ocluidas, a partir de una sola imagen.
Resolver los problemas de borrosidad e irrealidad de los métodos existentes
Capacidad de crear representaciones 3D con diversas posibilidades
Posibilidad de renderizado de 360 ​​grados de alta calidad
Aprendizaje eficiente del espacio latente basado en el aprendizaje autosupervisado
Limitations:
Falta de análisis detallado del desempeño del AutoReconstructor Variacional propuesto.
Necesidad de evaluar el rendimiento de generalización para escenas complejas reales
Se necesita una evaluación de escalabilidad para grandes conjuntos de datos.
Falta de análisis de costos computacionales y tiempos de procesamiento
👍