Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Pronóstico Cuándo pronosticar: Aceleración de los modelos de difusión con Taylor controlado por confianza

Created by
  • Haebom

Autor

Xiaoliu Guan, Lielin Jiang, Hanqi Chen, Xu Zhang, Jiaxing Yan, Guanzhong Wang, Yi Liu, Zetao Zhang, Yu Wu

Describir

Este artículo propone un método novedoso para mejorar la velocidad de inferencia de los Transformadores de Difusión (DiT). El TaylorSeer convencional almacena en caché las características intermedias de todos los bloques del transformador y predice características futuras mediante la expansión de Taylor. Sin embargo, presenta un consumo considerable de memoria y de recursos computacionales, y no considera la precisión de la predicción. En este artículo, reducimos el número de características almacenadas en caché desplazando el objetivo de predicción de Taylor al último bloque y proponemos un mecanismo de almacenamiento en caché dinámico basado en el error de predicción del primer bloque. Esto mejora el equilibrio entre velocidad y calidad, logrando incrementos en la velocidad de inferencia de 3,17x, 2,36x y 4,14x para FLUX, DiT y Wan Video, respectivamente.

Takeaways, Limitations

•
Takeaways:
◦
Resuelve eficazmente la alta sobrecarga de memoria y cálculo del TaylorSeer existente, que es Limitations.
◦
Ajuste de forma flexible la velocidad de inferencia en función de la precisión de la predicción a través de un mecanismo de almacenamiento en caché dinámico.
◦
Se lograron mejoras de velocidad y retención de calidad en varios modelos DiT.
•
Limitations:
◦
La eficacia del método propuesto depende en gran medida del error de predicción del primer bloque. El rendimiento puede verse afectado por la precisión de la estimación del error.
◦
Sólo se presentan resultados experimentales para modelos específicos (FLUX, DiT, Wan Video), por lo que la generalización a otros modelos requiere una validación adicional.
◦
Falta información detallada sobre la optimización de los parámetros del mecanismo de almacenamiento en caché dinámico (por ejemplo, tolerancia a errores).
👍
Made with Slashpage