Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
DeInfoReg : un cadre d'apprentissage découplé pour un meilleur rendement de formation
Created by
Haebom
Auteur
Zih-Hao Huang, You-Teng Lin, Hung-Hsuan Chen
Contour
Dans cet article, nous proposons une nouvelle approche, l'apprentissage supervisé découplé avec régularisation de l'information (DeInfoReg), qui transforme de longs flux de gradient en plusieurs flux courts afin de résoudre le problème de disparition du gradient. En intégrant une stratégie de pipelining, DeInfoReg permet la parallélisation des modèles sur plusieurs GPU, ce qui améliore considérablement le débit d'apprentissage. Dans cet article, nous comparons la méthode proposée à la rétropropagation standard et à d'autres techniques de décomposition de flux de gradient. Grâce à des expériences approfondies sur diverses tâches et jeux de données, nous démontrons que DeInfoReg offre des performances supérieures et une meilleure résistance au bruit que les modèles BP conventionnels, tout en exploitant efficacement les ressources de calcul parallèle. Le code de reproductibilité est disponible à l' adresse https://github.com/ianzih/Decoupled-Supervised-Learning-for-Information-Regularization/ .
