[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Un CGRA à très faible consommation pour accélérer les transformateurs en périphérie

Created by
  • Haebom

Auteur

Rohit Prasad

Contour

Cet article propose une architecture de réseau modulaire reconfigurable (CGRA) ultra-basse consommation conçue pour accélérer les opérations de multiplication matricielle généralisée (GEMM) des modèles Transformer dans les environnements à ressources et énergie limitées des périphériques. L'architecture proposée intègre un réseau d'éléments de traitement (PE) 4x4 pour un calcul parallèle efficace et un bloc d'opérations mémoire (MOB) 4x2 pour des opérations de chargement/stockage optimisées, réduisant ainsi les besoins en bande passante mémoire et améliorant la réutilisation des données. Un réseau d'interconnexion torique maillé sans commutateur permet une communication directe entre les PE et les MOB, éliminant ainsi le besoin de commutation centralisée et minimisant la consommation d'énergie et la latence. Grâce à une conception de réseau hétérogène et à un flux de données efficace, l'architecture CGRA répond aux exigences de calcul uniques des Transformers, offrant une solution évolutive pour déployer des modèles d'apprentissage automatique sophistiqués sur les périphériques.

Takeaways, Limitations

•
Takeaways:
◦
Une nouvelle architecture CGRA pour une exécution efficace des modèles de transformateurs sur les périphériques de pointe est présentée.
◦
Présentation de l'évolutivité des applications d'IA de pointe grâce à une consommation d'énergie ultra-faible et des performances améliorées.
◦
Efficacité énergétique accrue grâce à l'optimisation de la bande passante mémoire et à la réutilisation des données.
◦
Réduisez la consommation d’énergie et la latence grâce aux réseaux sans commutateur.
•
Limitations:
◦
Absence de résultats réels de mise en œuvre et d’évaluation des performances de l’architecture proposée.
◦
Des recherches supplémentaires sont nécessaires sur l’applicabilité et la généralisabilité à divers modèles de transformateurs et dispositifs de pointe.
◦
Des recherches supplémentaires sont nécessaires sur l'évolutivité et la taille optimale du réseau PE 4x4 et de la taille MOB 4x2.
◦
Absence d'analyse de comparaison des performances avec d'autres architectures CGRA ou accélérateurs existants.
👍
Made with Slashpage