Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Transferencia de estilo de retrato generalizable de dominio

Created by
  • Haebom

Autor

Xinbo Wang, Wenju Xu, Qing Zhang, Wei-Shi Zheng

Describir

Este artículo presenta un método de transferencia de estilos de retrato que se generaliza a diversos dominios y permite una transferencia de estilos semánticamente alineada de alta calidad para áreas como cabello, ojos, pestañas, piel, labios y fondo. Para ello, obtenemos una referencia distorsionada semánticamente alineada con la entrada mediante el establecimiento de una correspondencia semántica densa entre una entrada dada y un retrato de referencia basado en un modelo preentrenado y un adaptador semántico. Para garantizar una transferencia de estilos eficiente y controlable, diseñamos la transformada wavelet de AdaIN que equilibra la preservación del contenido y la transferencia de estilos mediante la combinación de la información de baja frecuencia de la referencia distorsionada con la información de alta frecuencia de la entrada en el espacio latente. También diseñamos un adaptador de estilos que proporciona guía de estilo desde la referencia distorsionada. Utilizando el espacio latente estilizado obtenido a partir de la transformada wavelet de AdaIN, generamos el resultado final mediante un modelo de difusión bicondicional que integra ControlNet, el cual registra la información de alta frecuencia y la guía de estilo. Demostramos la superioridad del método propuesto mediante experimentos exhaustivos. El código y los modelos entrenados están disponibles en https://github.com/wangxb29/DGPST .

Takeaways, Limitations

•
Takeaways:
◦
Presentamos un método de conversión de estilo de retrato de alta calidad que se puede generalizar a varios dominios.
◦
Transformaciones de estilo semánticamente alineadas posibles hasta en áreas detalladas como cabello, ojos y pestañas
◦
Equilibrio efectivo entre la preservación del contenido y la transformación del estilo mediante la transformada wavelet de AdaIN
◦
Generación de imágenes de alta calidad utilizando el modelo de difusión condicional dual basado en ControlNet
◦
Garantizar la reproducibilidad y escalabilidad mediante código abierto y modelos entrenados
•
Limitations:
◦
Posibles limitaciones en el rendimiento de generalización para dominios específicos o transformaciones de estilo
◦
Sensibilidad al ajuste de parámetros de la transformada wavelet AdaIN y ControlNet
◦
Dependencia de la calidad y diversidad de los datos de entrenamiento
◦
Es necesario tener en cuenta los costos computacionales y los tiempos de procesamiento.
👍
Made with Slashpage