Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Meilleures intégrations avec le couple Adam

Created by
  • Haebom

Auteur

Felix Stollenwerk, Tobias Stollenwerk

Contour

Cet article aborde le problème des modèles de langage à grande échelle (MLL) apprenant des représentations de mots présentant une propriété indésirable appelée anisotropie. Les chercheurs soutiennent que le second moment de l'optimiseur Adam est à l'origine des plongements anisotropes et proposent un optimiseur modifié, Coupled Adam, pour atténuer ce problème. Les résultats expérimentaux montrent que Coupled Adam améliore significativement la qualité des plongements et optimise les performances des tâches superordonnées et subordonnées sur des ensembles de données suffisamment grands.

Takeaways, Limitations

•
Takeaways:
◦
Nous suggérons que le deuxième moment de l'optimiseur Adam peut être la cause du problème d'intégration anisotrope dans LLM.
◦
Nous montrons qu'un nouvel optimiseur appelé Coupled Adam peut atténuer le problème d'anisotropie et améliorer les performances de LLM.
◦
Il contribue à améliorer les performances des tâches supérieures et inférieures sur des ensembles de données suffisamment grands.
•
Limitations:
◦
L’efficacité du Coupled Adam proposé peut dépendre de la taille de l’ensemble de données (il s’est avéré efficace sur de grands ensembles de données, mais son efficacité peut varier sur des ensembles de données plus petits).
◦
Il se peut que cela ne soit pas une solution complète à la cause profonde du problème d’anisotropie (nous n’avons abordé que le deuxième point, et d’autres facteurs peuvent être impliqués).
👍
Made with Slashpage