Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Decodificación paralela con reconocimiento de localidad para una generación eficiente de imágenes autorregresivas

Created by
  • Haebom

Autor

Zhuoyang Zhang, Luke J. Huang, Chengyue Wu, Shang Yang, Kelly Peng, Yao Lu, Song Han

Describir

En este artículo, presentamos un método de Decodificación Paralela con Conocimiento de Localidad (LPD) para acelerar la generación de imágenes autorregresivas. La generación de imágenes autorregresivas actual se basa en la predicción del siguiente parche, que consume mucha memoria, lo que resulta en una alta latencia. Estudios existentes han intentado paralelizar la predicción del siguiente parche cambiando a la predicción multiparche, pero el grado de paralelización es limitado. En este artículo, presentamos dos técnicas clave para lograr una alta paralelización manteniendo la calidad de la generación. Primero, el Modelado Autoregresivo Paralelizado Flexible, una arquitectura novedosa que permite un orden de generación y un grado de paralelización arbitrarios. Esta arquitectura guía la generación en ubicaciones objetivo utilizando tokens de consulta de posición aprendibles, a la vez que garantiza la visibilidad mutua entre tokens generados simultáneamente para una decodificación paralela consistente. Segundo, el Ordenamiento de Generación con Conocimiento de Localidad, una programación novedosa que mejora la calidad de la generación al minimizar las dependencias intragrupo y maximizar el soporte contextual. Este diseño reduce la cantidad de pasos de generación de 256 a 20 (resolución de 256x256) y de 1024 a 48 (resolución de 512x512) sin ninguna degradación de la calidad en la generación de imágenes condicionales de ImageNet y logra una latencia al menos 3,4 veces menor que los modelos autorregresivos paralelizados anteriores.

Takeaways, Limitations

Takeaways:
Presentamos un método novedoso que mejora significativamente la velocidad de generación de imágenes autorregresivas.
Superar las limitaciones de paralelización de los métodos existentes y lograr un alto nivel de paralelización.
Reduzca drásticamente los pasos y retrasos de generación sin comprometer la calidad de generación.
Presenta dos tecnologías clave: modelado autorregresivo paralelizado flexible y ordenamiento generacional consciente de la localidad.
Limitations:
El rendimiento del método propuesto está limitado al conjunto de datos ImageNet, y se necesitan más estudios para determinar el rendimiento de generalización en otros conjuntos de datos.
Falta una descripción detallada de la estrategia de optimización del Ordenamiento Generacional con Atención a la Localidad. Se requiere un análisis comparativo con otras estrategias de ordenamiento generacional.
Falta de un análisis detallado del uso de memoria. Es necesario analizar el aumento del uso de memoria debido a la paralelización.
👍