Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Vers des réseaux neuronaux à pics efficaces et précis grâce à l'allocation adaptative des bits

Created by
  • Haebom

Auteur

Xingting Yao, Qinghao Hu, Fei Zhou, Tielong Liu, Gang Li, Peisong Wang, Jian Cheng

Contour

Cet article se concentre sur les réseaux de neurones à pics multibits (SNN) qui visent une IA économe en énergie et de haute précision. Les SNN multibits existants souffrent d'améliorations de performances disproportionnées en raison de l'augmentation des besoins en mémoire et en calcul à mesure que le nombre de bits augmente. En s'appuyant sur les différences d'importance entre les couches, cet article propose une stratégie d'allocation de bits adaptative pour les SNN directement entraînés, permettant une allocation fine de la mémoire et des ressources de calcul à chaque couche. En paramétrant la longueur temporelle et la largeur de bit des poids et des pics, permettant l'apprentissage et le contrôle par gradients, nous améliorons l'efficacité et la précision des SNN. Pour relever les défis posés par les variations de largeurs de bit et de longueurs temporelles, nous proposons des neurones à pics améliorés qui gèrent diverses longueurs temporelles, permettent la dérivation de gradients pour les longueurs temporelles et sont mieux adaptés à la quantification des pics. De plus, nous formalisons théoriquement le problème de l'inadéquation des pas de taille dans les largeurs de bit apprenables et proposons un mécanisme de mise à jour des pas de taille pour atténuer les graves erreurs de quantification qui en résultent. Des expériences sur divers jeux de données, dont CIFAR, ImageNet, CIFAR-DVS, DVS-GESTURE et SHD, démontrent que la méthode proposée peut améliorer la précision tout en réduisant les coûts globaux de mémoire et de calcul. Plus précisément, le SEWResNet-34 proposé atteint une précision supérieure de 2,69 % et un budget binaire 4,16 fois inférieur à celui du modèle de référence de pointe sur ImageNet. Les résultats de cette recherche seront publiés ultérieurement.

Takeaways, Limitations

Takeaways:
Une nouvelle stratégie d'allocation de bits adaptative est proposée pour améliorer l'efficacité et la précision des SNN multi-bits.
Gestion efficace des ressources grâce à la mémoire hiérarchique et à l'allocation des ressources de calcul.
Un neurone à pointes amélioré et un mécanisme de mise à jour de la taille des pas sont proposés pour relever les défis liés aux largeurs de bits et aux longueurs temporelles variables.
Les améliorations de performances ont été vérifiées par des expériences sur divers ensembles de données.
Amélioration significative de la précision et réduction du budget binaire par rapport au modèle précédent le plus performant sur ImageNet.
Contribution au monde universitaire et à l’industrie par la divulgation des résultats de la recherche.
Limitations:
Des recherches supplémentaires sont nécessaires sur les performances de généralisation de la méthode proposée.
Une évaluation des performances est nécessaire pour des ensembles de données plus complexes ou des réseaux plus grands.
Des recherches supplémentaires sont nécessaires pour définir les paramètres optimaux du mécanisme de mise à jour de la taille des pas.
Il est nécessaire d’analyser la surcharge de calcul des stratégies d’allocation de bits adaptatives.
👍