Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Fusion modulaire Delta avec contraintes orthogonales : un cadre évolutif pour la composition continue et réversible de modèles

Created by
  • Haebom

Auteur

Haris Khan, Sadia Asif, Shumaila Asif

Contour

Dans les déploiements d'apprentissage automatique en situation réelle, les modèles doivent être continuellement mis à jour, construits et supprimés de manière sélective selon les besoins. Cependant, les approches existantes de fusion de modèles et d'apprentissage continu souffrent souvent d'interférences entre les tâches, d'oublis catastrophiques ou d'un manque de réversibilité. Dans cet article, nous proposons la fusion modulaire de deltas à contraintes orthogonales (MDM-OC), un nouveau framework qui permet la construction évolutive, sans interférence et réversible de modèles affinés. Chaque modèle spécifique à une tâche est codé sous forme de delta à partir d'une base commune et projeté dans un sous-espace orthogonal afin d'éliminer les conflits. Ces deltas projetés sont ensuite fusionnés via une optimisation par gradient pour former un modèle unifié qui maintient les performances sur toutes les tâches. Cette approche prend en charge l'intégration continue de nouveaux modèles, la séparation structurelle pour la conformité aux réglementations telles que le RGPD, et la stabilité des modèles grâce à la fusion de poids résiliente et à la régénération synthétique. Des expériences approfondies sur des benchmarks de vision et de traitement du langage naturel démontrent que MDM-OC surpasse les références précédentes en termes de précision, de transférabilité et de fidélité de séparation, tout en restant économe en mémoire et facile à gérer. Ce cadre fournit une solution fondée sur des principes pour la conception de systèmes d’IA modulaires et conformes.

Takeaways, Limitations

Takeaways:
Fournit un cadre de construction de modèle de réglage fin évolutif, non intrusif et réversible.
Prise en charge de la séparation des modèles structurels pour se conformer aux réglementations telles que le RGPD
Amélioration de la stabilité du modèle grâce à l'intégration du poids élastique et à la relecture synthétique.
Surpasse les méthodes existantes dans les tâches de vision et de traitement du langage naturel (précision, inversion, fidélité de séparation)
Efficace en termes de mémoire et facile à gérer sur le plan informatique
Limitations:
Cet article ne mentionne pas explicitement Limitations. D'autres expériences et applications à divers ensembles de données sont nécessaires pour vérifier les performances de la généralisation. Des recherches plus approfondies pourraient révéler des problèmes tels que la dépendance à des environnements matériels spécifiques et des limitations d'évolutivité.
👍