Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Optimisation multi-objectifs dans l'exploration de l'espace de conception du processeur : l'attention est tout ce dont vous avez besoin

Created by
  • Haebom

Auteur

Runzhen Xue, Hao Wu, Mingyu Yan, Ziheng Xiao, Guangyu Sun, Xiaochun Ye, Dongrui Fan

Contour

Cet article présente AttentionDSE, un nouveau framework d'exploration de l'espace de conception (DSE) pour la conception de processeurs dans des espaces de conception de grande dimension. Les frameworks DSE existants souffrent de problèmes tels qu'une faible précision et une évolutivité insuffisante des modèles de substitution, une exploration inefficace reposant sur des heuristiques manuelles ou une recherche exhaustive, et des difficultés d'interprétation. AttentionDSE résout ces problèmes en intégrant des prédictions de performances et des conseils de conception via une architecture de réseau neuronal basée sur l'attention. Les pondérations d'attention remplissent le double rôle d'estimer précisément les performances tout en exposant simultanément les goulots d'étranglement. Les innovations clés incluent un mécanisme d'attention piloté par la perception qui exploite la hiérarchie et la localité (réduisant la complexité de $\mathcal{O}(n^2)$ à $\mathcal{O}(n)$) et une analyse des goulots d'étranglement sensible à l'attention, qui suggère automatiquement des paramètres critiques pour une optimisation ciblée. Dans une évaluation de l'espace de conception de processeur à haute dimension utilisant le benchmark SPEC CPU2017, AttentionDSE atteint jusqu'à 3,9 % d'hypervolume de Pareto supérieur et un temps de recherche plus de 80 % plus rapide par rapport aux modèles de base de pointe.

Takeaways, Limitations_

Takeaways:
Nous présentons un cadre nouveau, efficace et interprétable pour résoudre les problèmes DSE dans les espaces de conception de grande dimension.
Exploiter le mécanisme d'attention pour intégrer la prédiction des performances et les conseils de conception, en créant une boucle d'optimisation efficace.
Complexité de calcul réduite et suppression de la dépendance heuristique spécifique au domaine grâce à l'attention axée sur la perception et à l'analyse des goulots d'étranglement conscients de l'attention.
Les résultats expérimentaux vérifient l’efficacité de l’amélioration de l’hypervolume de Pareto et de la réduction du temps de recherche.
Limitations:
Actuellement, le cadre est spécialisé dans la conception de processeurs et des recherches supplémentaires sont nécessaires pour déterminer sa généralisabilité à d’autres espaces de conception.
Des recherches d’optimisation sont nécessaires sur la taille de la fenêtre coulissante et les paramètres du mécanisme d’attention piloté par la perception.
L'expérience est limitée au benchmark SPEC CPU2017 et nécessite une validation sur d'autres benchmarks ou du matériel réel.
👍