Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Beacon : Quantification post-formation avec sélection de grille intégrée

Created by
  • Haebom

Auteur

Shihao Zhang, Rayan Saab

Contour

Cet article traite de la quantification, une technique de compression largement utilisée pour réduire les coûts de mémoire et de calcul des modèles à grande échelle pré-entraînés. En particulier, la sélection d'un facteur d'échelle approprié pour remplacer les valeurs de pondération par des valeurs sur une grille d'entiers mise à l'échelle constitue un défi majeur dans la quantification post-apprentissage canal par canal (PTQ). Les méthodes existantes fixent généralement l'échelle à l'avance par réglage heuristique ou recherche sur grille. Dans cet article, nous proposons Beacon, un algorithme simple et efficace qui élimine le besoin de réglage manuel. Beacon effectue la PTQ canal par canal directement à l'aide d'une grille non mise à l'échelle et détermine automatiquement le facteur d'échelle optimal en exploitant les propriétés géométriques de la quantification scalaire. Il ne repose ni sur la rétropropagation ni sur de grands ensembles d'étalonnage. Malgré sa simplicité et son absence de réglage, Beacon atteint des performances compétitives par rapport aux méthodes de pointe, ce qui en fait une solution pratique pour un déploiement efficace des modèles.

Takeaways, Limitations

Takeaways:
Nous présentons Beacon, un algorithme simple et efficace qui détermine automatiquement le facteur d'échelle optimal sans réglage manuel dans la quantification post-formation par canal (PTQ).
Obtenez des performances compétitives avec des méthodes de pointe sans rétropropagation ni grands ensembles d'étalonnage.
Fournit des solutions pratiques pour un déploiement efficace des modèles.
Limitations:
Des expériences et des analyses supplémentaires peuvent être nécessaires pour déterminer les performances de généralisation de l’algorithme Beacon.
D’autres évaluations des performances pour différentes architectures de modèles et nombres de bits de quantification sont nécessaires.
Ses performances peuvent être inférieures à celles d’autres méthodes de pointe pour certains types de modèles ou de tâches.
👍