Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Mejora de los modelos de consistencia con flujos aumentados por generador

Created by
  • Haebom

Autor

Thibaut Issenhuth, Sangchul Lee, Ludovic Dos Santos, Jean-Yves Franceschi, Chansoo Kim, Alain Rakotomamonjy

Describir

Este artículo analiza las diferencias entre la destilación de consistencia y el entrenamiento de consistencia, que son métodos de aprendizaje de modelos de consistencia, y propone un nuevo método para mejorar el rendimiento y la velocidad de convergencia del aprendizaje de consistencia mediante la superación de las diferencias. El modelo de consistencia es un modelo que imita el muestreo multietapa de la difusión basada en puntuaciones con un único paso hacia adelante de una red neuronal. Mientras que la destilación de consistencia convencional utiliza el campo de velocidad real aproximado por una red neuronal preentrenada, el aprendizaje de consistencia utiliza una estimación de Monte Carlo de una sola muestra del campo de velocidad. Este artículo muestra que la brecha entre los dos métodos debido a este error de estimación persiste, y para aliviarla, proponemos un nuevo flujo que pasa datos ruidosos a la salida del modelo de consistencia. Se ha demostrado que este flujo reduce la brecha mencionada anteriormente y el costo de transferencia de datos ruidosos.

Takeaways, Limitations

Takeaways:
Acelerando la convergencia del aprendizaje de la consistencia.
Mejora general del rendimiento del aprendizaje de la consistencia.
Aumentar la comprensión teórica de las diferencias entre la destilación de consistencia y el aprendizaje de consistencia.
Se presenta un nuevo método de aprendizaje de modelos de consistencia eficiente basado en flujo.
Limitations:
Se necesitan experimentos adicionales para evaluar el rendimiento de generalización del método propuesto.
Es necesaria una evaluación del rendimiento en varios conjuntos de datos y arquitecturas de modelos.
Es necesario analizar el coste computacional del flujo propuesto.
👍