Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Hyperflux : l'élagage révèle l'importance des poids

Created by
  • Haebom

Auteur

Eugen Barbulescu, Antonio Alexoaie, Lucian Busoniu

Contour

Cet article propose Hyperflux, une technique d'élagage de réseau visant à réduire la latence d'inférence et la consommation énergétique des réseaux neuronaux. Alors que les méthodes d'élagage existantes reposent principalement sur des résultats empiriques, Hyperflux est une approche d'élagage L0 conceptuellement robuste qui estime l'importance de chaque pondération comme réponse du gradient (flux) à la suppression de la pondération. Un terme de pression globale guide en permanence toutes les pondérations vers l'élagage, et les pondérations critiques pour la précision se régénèrent automatiquement en fonction du flux. Dans cet article, nous présentons et validons expérimentalement plusieurs propriétés naturellement dérivées du cadre Hyperflux et concevons un ordonnanceur contrôlé par parcimonie en dérivant une équation de loi d'échelle généralisée décrivant la relation entre parcimonie finale et pression. Les résultats expérimentaux démontrent des résultats de pointe sur les jeux de données CIFAR-10 et CIFAR-100 en utilisant ResNet-50 et VGG-19.

Takeaways, Limitations

Takeaways:
Contrairement aux méthodes empiriques existantes, nous présentons une méthode d’élagage L0 conceptuellement claire qui estime l’importance des poids à travers le flux.
Un contrôle efficace de la parcimonie est obtenu en dérivant une équation de loi d'échelle généralisée qui décrit la relation entre la parcimonie et la pression.
Les expériences utilisant les ensembles de données CIFAR-10 et CIFAR-100 avec les modèles ResNet-50 et VGG-19 démontrent des performances de pointe.
Limitations:
L’efficacité de la méthode proposée peut être limitée à des structures de réseau et à des ensembles de données spécifiques.
Les performances de généralisation doivent être vérifiées sur d’autres réseaux ou ensembles de données plus grands.
Le coût de calcul du flux peut être relativement élevé.
👍