Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
De ida y vuelta: sobre la relación entre el ruido y las inversiones de imagen en los modelos de difusión
Created by
Haebom
Autor
{\L}ukasz Staniszewski, {\L}ukasz Kucinski , Kamil Deja
Describir
Este artículo aborda el problema de que los modelos de difusión alcanzan un rendimiento de vanguardia en la generación de nuevas muestras, pero carecen de un espacio latente de baja dimensión que codifique los datos en características significativas. Para abordar este problema, nos centramos en métodos basados en la inversión, que asignan cada imagen a un ruido inicial aproximado invirtiendo el proceso de eliminación de ruido. En particular, analizamos la relación entre las codificaciones latentes obtenidas mediante la inversión DDIM, las muestras generadas y el ruido gaussiano inicial. Los resultados muestran que, en regiones lisas, aparecen patrones estructurales que predicen ruido de baja varianza en las codificaciones latentes, lo que reduce significativamente la operatividad del espacio de inversión de la imagen en comparación con el espacio de ruido gaussiano original. Encontramos que la causa de este fenómeno es que el error de predicción de ruido en las regiones planas es mucho mayor que en otras regiones en el paso de inversión inicial, y proponemos una solución sencilla para abordar este problema: reemplazar el paso de inversión DDIM inicial con un proceso de difusión hacia adelante. Este método elimina con éxito la correlación en la representación latente, lo que permite una edición e interpolación de mayor calidad. El código está disponible en https://github.com/luk-st/taba .
Dilucidamos los patrones estructurales de las expresiones latentes y las causas de la baja operabilidad que surgen durante el proceso de inversión DDIM.
◦
Proponemos una solución simple pero efectiva que mejora la calidad de la representación latente al reemplazar el paso de transformación inversa inicial con un proceso de difusión hacia adelante.
◦
Es posible realizar una edición e interpolación de imágenes de mayor calidad con representaciones latentes mejoradas.
•
Limitations:
◦
La eficacia del método propuesto puede estar limitada a ciertos modelos de difusión y transformadas inversas DDIM.
◦
Se necesitan más investigaciones para determinar la generalización a otros métodos de transformación inversa o modelos de difusión.
◦
Falta un análisis detallado sobre el ajuste de los parámetros del proceso de difusión hacia adelante.
