Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

QT-DoG : formation prenant en compte la quantification pour la généralisation de domaine

Created by
  • Haebom

Auteur

Saqib Javed, Hieu Le, Mathieu Salzmann

Contour

Dans cet article, nous proposons une nouvelle méthode, l'apprentissage sensible à la quantification pour la généralisation de domaine (QT-DoG), qui utilise la quantification des pondérations pour résoudre le problème de surapprentissage en généralisation de domaine (DG). Contrairement aux méthodes de quantification existantes axées sur la compression des modèles, QT-DoG utilise la quantification comme régularisation implicite en introduisant du bruit dans les pondérations afin de trouver un minimum plus plat de la fonction de perte. Cela la rend moins sujette au surapprentissage et permet d'obtenir de meilleures performances de généralisation dans divers domaines. Grâce à une analyse théorique et à des preuves expérimentales, nous démontrons que la quantification induit un minimum plus plat et, de plus, en regroupant plusieurs modèles quantifiés, nous obtenons une meilleure précision que les méthodes DG de pointe existantes, sans coût de calcul ni surcharge mémoire. Le code source est open source.

Takeaways, Limitations

Takeaways:
Nous proposons que la quantification du poids puisse être utilisée comme une technique de régularisation implicite pour améliorer les performances de généralisation de domaine.
Nous montrons que la quantification peut améliorer les performances tout en réduisant simultanément la taille du modèle.
Nous démontrons que notre ensemble de modèles quantifiés surpasse les méthodes DG de pointe existantes.
Nous fournissons un soutien théorique et expérimental selon lequel la recherche d’un minimum plat de la fonction de perte est efficace pour la généralisation du domaine.
Limitations:
D’autres études sont nécessaires pour déterminer si l’efficacité de la méthode proposée peut être généralisée à tous les types d’ensembles de données et d’architectures de modèles.
Une analyse plus détaillée de l’évolution des performances en fonction du nombre de bits de quantification est nécessaire.
Les améliorations de performances peuvent être limitées pour certains domaines.
👍