Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Similitud de rompecabezas: una métrica de referencia cruzada guiada perceptualmente para la detección de artefactos en reconstrucciones de escenas 3D

Created by
  • Haebom

Autor

Nicolai Hermann, Jorge Condor, Piotr Didyk

Describir

Este artículo aborda el desafío de evaluar automáticamente la calidad de nuevas vistas e identificar artefactos debido a la falta de imágenes de verdad de campo y las limitaciones de las métricas de imágenes sin referencia, a pesar de la disponibilidad de técnicas de reconstrucción de vanguardia que modelan eficazmente escenas 3D complejas a partir de vistas 2D dispersas. Para abordar este desafío, proponemos una novedosa métrica de referencia cruzada, Puzzle Similarity, que localiza artefactos en nuevas vistas. Basándonos en un trabajo reciente (arXiv:2404.14409) que propone un nuevo tipo de métrica (referencia cruzada) que aprovecha la información de capturas desde diferentes puntos de vista, proponemos una novedosa métrica de referencia cruzada, Puzzle Similarity, para localizar artefactos en nuevas vistas. Nuestro método utiliza estadísticas de parches de imagen de vistas de entrenamiento para establecer distribuciones específicas de la escena y las utiliza para identificar regiones mal reconstruidas en nuevas vistas. Dada la falta de métricas robustas para evaluar métodos de referencia cruzada en el contexto de la reconstrucción 3D, evaluamos el rendimiento de nuestro método propuesto en un nuevo conjunto de datos de mapas de artefactos y distorsión, etiquetados por humanos. Demostramos experimentalmente que nuestro método logra un rendimiento de localización de artefactos de vanguardia, altamente correlacionado con las evaluaciones humanas, incluso sin referencias alineadas. Esta métrica puede aprovecharse para mejorar aplicaciones como la restauración automática de imágenes, la adquisición guiada o la reconstrucción 3D a partir de una entrada dispersa.

Takeaways, Limitations

Takeaways:
Proponemos una nueva métrica de referencia cruzada, Puzzle Similarity, y demostramos que puede localizar artefactos de manera efectiva en nuevas vistas.
Presentamos un nuevo conjunto de datos que muestra una alta correlación con las evaluaciones humanas, estableciendo un estándar para evaluar métodos de referencia cruzada.
Puede contribuir a diversas aplicaciones, como la restauración automática de imágenes, la adquisición guiada y la reconstrucción 3D basada en entrada dispersa.
Limitations:
La evaluación del desempeño del método propuesto puede limitarse a un conjunto de datos específico, y su desempeño de generalización a otros conjuntos de datos o métodos de reconstrucción 3D requiere más investigación.
El rendimiento puede verse afectado por el tamaño y la diversidad del conjunto de datos etiquetados por humanos.
La métrica de similitud de rompecabezas puede ser costosa de calcular.
👍