Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Adaptador Att: un adaptador de difusión T2I multiatributos, robusto y preciso, específico de dominio mediante un autocodificador variacional condicional

Created by
  • Haebom

Autor

Wonwoong Cho, Yan-Ying Chen, Matthew Klenk, David I. Inouye, Yanxia Zhang

Describir

En este artículo, proponemos un novedoso módulo listo para usar, Att-Adapter, para abordar el problema del control simultáneo y preciso de múltiples atributos en un modelo de difusión preentrenado. Att-Adapter aprende un único adaptador de control a partir de un conjunto de imágenes de muestra que contienen múltiples atributos visuales no pareados. Utiliza un módulo de atención cruzada desacoplada para armonizar de forma natural múltiples atributos de dominio con las condiciones textuales, y utiliza un autocodificador variacional condicional (CVAE) para mitigar el sobreajuste y adaptarse a las diversas características del mundo visual. Los resultados de la evaluación en dos conjuntos de datos públicos muestran que Att-Adapter supera a todos los modelos de referencia basados en LoRA en el control continuo de atributos, demostrando un rango de control más amplio y una mejor separación entre atributos. Además, tiene la ventaja de no requerir datos sintéticos pareados para el entrenamiento y puede extenderse fácilmente a múltiples atributos.

Takeaways, Limitations

Takeaways:
Presentamos un método novedoso para controlar con precisión atributos múltiples continuos en modelos de difusión preentrenados.
Capacidad de entrenar utilizando datos no apareados, mejorando la eficiencia de los datos.
Supera a los métodos basados en LoRA y StyleGAN.
Fácilmente extensible a múltiples propiedades en un solo modelo.
Amplio rango de control y separación mejorada entre atributos.
Limitations:
El Limitations específico no se menciona explícitamente en el artículo. Podría revelarse mediante experimentos o análisis adicionales.
El rendimiento de generalización para dominios o propiedades específicos requiere más estudios.
El uso de CVAE puede no ser siempre eficiente.
👍