Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

SSGaussian: Transferencia de estilo 3D consciente de la semántica y que preserva la estructura

Created by
  • Haebom

Autor

Jimin Xu, Bosheng Qin, Tao Jin, Zhou Zhao, Zhenhui Ye, Jun Yu, Fei Wu

Describir

Este artículo propone una novedosa canalización de transferencia de estilos 3D que aprovecha el conocimiento de modelos de difusión 2D preentrenados para abordar los desafíos de los métodos de transferencia de estilos 3D existentes, que tienen dificultades para extraer y transferir eficazmente la semántica de estilos de alta dimensión y sufren de ambigüedad estructural en la aplicación de estilo resultante, lo que dificulta la identificación de objetos. Esta canalización consta de dos pasos: generar representaciones estilizadas de puntos de vista dominantes y luego transferirlas a representaciones 3D. Específicamente, la alineación de estilos entre vistas permite interacciones de características en múltiples puntos de vista dominantes, y la transferencia de estilos a nivel de instancia transfiere eficazmente la coherencia entre los puntos de vista dominantes estilizados a la representación 3D, lo que resulta en resultados de estilización estructural y visualmente consistentes. Los resultados experimentales en varias escenas demuestran que el método propuesto supera a los métodos de vanguardia existentes.

Takeaways, Limitations

Takeaways:
Presentamos una nueva metodología que resuelve eficazmente el problema de transferencia de estilo 3D aprovechando un modelo de difusión 2D entrenado previamente.
La alineación de estilos entre vistas y las técnicas de transferencia de estilos a nivel de instancia mejoran simultáneamente la fidelidad del estilo y la consistencia a nivel de instancia.
Demostró un rendimiento superior al de los métodos existentes en varias escenas (frontal, entorno de 360 ​​grados, etc.).
Limitations:
Debido a la alta dependencia del modelo de difusión 2D, la calidad de los resultados de la transferencia de estilo 3D puede verse afectada por el rendimiento del modelo de difusión 2D.
El costo computacional puede ser alto (aunque no se indica explícitamente, esto es esperado dada la complejidad del modelo de difusión 2D y el procesamiento de la representación 3D Limitations)
Se requiere más investigación para determinar el rendimiento de generalización del método propuesto. (Aunque no se indica explícitamente, se prevé que será necesaria más investigación, ya que un rendimiento superior en un conjunto de datos específico no garantiza un rendimiento superior en todos los conjuntos de datos).
👍