[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

DMQ: Análisis de valores atípicos de modelos de difusión para cuantificación posterior al entrenamiento

Created by
  • Haebom

Autor

Dongyeun Lee, Jiwan Hur, Hyounguk Shon, Jae Young Lee, Junmo Kim

Describir

En este artículo, proponemos DMQ, una versión mejorada de la técnica de cuantificación post-entrenamiento (PTQ), para abordar los desafíos de implementar modelos de difusión en entornos con recursos limitados. DMQ combina el escalado equivalente aprendido (LES) y el escalado potencia de dos por canal (PTS) para reducir los errores de cuantificación. En particular, introducimos un esquema de ponderación adaptativa por paso de tiempo que considera la importancia del paso inicial de eliminación de ruido y aplicamos PTS por canal a capas como las conexiones de salto con gran varianza intercanal. Utilizamos un algoritmo de votación para la selección estable de coeficientes PTS incluso en conjuntos de compensación pequeños. Los resultados experimentales muestran que DMQ supera a los métodos existentes, especialmente con anchos de bits bajos como W4A6 y W4A8, a la vez que mantiene una alta calidad de generación de imágenes y estabilidad del modelo. El código fuente está disponible en GitHub.

Takeaways, Limitations

Takeaways:
Se presenta un método de cuantificación de modelos de difusión eficiente para la generación de imágenes de alta calidad en entornos con recursos limitados.
Solución del problema de valores atípicos de __T11144_____ del método PTQ existente y mejora del rendimiento con anchos de bits bajos mediante la combinación de LES y PTS.
Minimización de errores de cuantificación mediante ponderación de paso de tiempo adaptativa y PTS por canal.
Selección de coeficiente PTS estable mediante algoritmo de votación.
Excelente rendimiento incluso con anchos de bits bajos como W4A6 y W4A8.
Garantizar la reproducibilidad mediante código fuente abierto.
Limitations:
El rendimiento del método propuesto puede depender de modelos de difusión y conjuntos de datos específicos.
Se necesitan experimentos con modelos de difusión y conjuntos de datos más diversos.
Se necesita más investigación sobre la eficiencia del algoritmo de votación y la configuración óptima de los parámetros.
Es necesario un análisis comparativo más profundo con otras técnicas de cuantificación.
👍