Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

LiteReality: Reconstrucción de escenas 3D con gráficos listos a partir de escaneos RGB-D

Created by
  • Haebom

Autor

Zhening Huang, Xiaoyang Wu, Fangcheng Zhong, Hengshuang Zhao, Matthias Nie{\ss}ner, Joan Lasenby

Describir

LiteReality es una nueva canalización que transforma los escaneos RGB-D de entornos interiores en réplicas virtuales 3D compactas, realistas e interactivas. LiteReality no solo reconstruye escenas visualmente similares a la realidad, sino que también admite características clave para las canalizaciones gráficas, como la individualidad de los objetos, el movimiento de las articulaciones, materiales de renderizado de alta calidad basados ​​en la física e interacciones basadas en la física. Reconstruye la escena buscando los modelos 3D más visualmente similares, creados por artistas, a partir de una base de datos de recursos seleccionados. Se centra en la comprensión de la escena mediante un gráfico de escena estructurado y en el análisis de los resultados para obtener diseños y objetos 3D consistentes. A continuación, reconstruye la escena restaurando materiales de alta calidad que varían espacialmente mediante un módulo de pintura de materiales para mejorar el realismo. Finalmente, integra la escena reconstruida en un motor de simulación con propiedades físicas básicas para permitir un comportamiento interactivo. La escena resultante es compacta, editable y totalmente compatible con las canalizaciones gráficas estándar, lo que la hace ideal para aplicaciones de RA/RV, videojuegos, robótica y gemelos digitales. LiteReality también presenta un módulo de detección de objetos sin necesidad de aprendizaje que logra un rendimiento de similitud de vanguardia en la prueba de referencia Scan2CAD, y un potente módulo de pintura de materiales que puede transferir la apariencia de cualquier estilo de imagen a recursos 3D, incluso con errores de alineación graves, oclusiones y poca iluminación. Demostramos la eficacia de LiteReality tanto en escaneos reales como en conjuntos de datos públicos.

Takeaways, Limitations

Takeaways:
Presentación de un proceso de reconstrucción de entorno 3D realista mediante escaneos RGB-D
Admite funciones esenciales para el flujo de gráficos, como individualidad de objetos, movimiento de articulaciones y materiales de alta calidad.
Alto realismo logrado mediante un módulo de detección de objetos sin aprendizaje y un potente módulo de pintura de materiales.
Aplicable a diversos campos como AR/VR, juegos, robótica y gemelos digitales.
Crea resultados compactos y editables
Limitations:
El artículo carece de referencias específicas a Limitations o direcciones de investigación futuras.
Falta de información sobre el tamaño y la composición de la base de datos de activos utilizada.
Se necesita una mayor validación del rendimiento de generalización para diversos entornos y escenas complejas.
Falta de evaluación del rendimiento y escalabilidad en tiempo real.
👍