[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

DMQ : Analyse des valeurs aberrantes des modèles de diffusion pour la quantification post-formation

Created by
  • Haebom

Auteur

Dongyeun Lee, Jiwan Hur, Hyounguk Shon, Jae Young Lee, Junmo Kim

Contour

Dans cet article, nous proposons DMQ, une version améliorée de la technique de quantification post-entraînée (PTQ), pour relever les défis du déploiement de modèles de diffusion dans des environnements aux ressources limitées. DMQ combine la mise à l'échelle équivalente apprise (LES) et la mise à l'échelle puissance de deux par canal (PTS) afin de réduire les erreurs de quantification. Plus précisément, nous introduisons un schéma de pondération adaptative des pas de temps qui prend en compte l'importance de l'étape initiale de suppression du bruit et appliquons la PTS par canal à des couches telles que les connexions sautées présentant une variance inter-canaux importante. Nous utilisons un algorithme de vote pour une sélection stable des coefficients PTS, même dans les petits ensembles de compensation. Les résultats expérimentaux montrent que DMQ surpasse les méthodes existantes, notamment à faible largeur de bit comme W4A6 et W4A8, tout en maintenant une qualité de génération d'images élevée et une stabilité du modèle. Le code source est disponible sur GitHub.

Takeaways, Limitations_

Takeaways:
Une méthode efficace de quantification du modèle de diffusion est présentée pour la génération d'images de haute qualité dans des environnements à ressources limitées.
Résolution du problème des valeurs aberrantes de __T46136_____ de la méthode PTQ existante et amélioration des performances à faible largeur de bit en combinant LES et PTS.
Minimisation des erreurs de quantification via une pondération adaptative des pas de temps et un PTS par canal.
Sélection du coefficient PTS stable via un algorithme de vote.
Excellentes performances même à de faibles largeurs de bits telles que W4A6 et W4A8.
Assurer la reproductibilité grâce au code open source.
Limitations:
Les performances de la méthode proposée peuvent dépendre de modèles de diffusion et d’ensembles de données spécifiques.
Des expériences avec des modèles de diffusion et des ensembles de données plus diversifiés sont nécessaires.
Des recherches supplémentaires sont nécessaires sur l’efficacité de l’algorithme de vote et les paramètres optimaux.
Une analyse comparative plus approfondie avec d’autres techniques de quantification est nécessaire.
👍