Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ÉVitez l'oubli en préservant les gradients de connaissances mondiaux dans l'apprentissage fédéré avec des données non IID

Created by
  • Haebom

Auteur

Abhijit Chunduru, Majid Morafah, Mahdi Morafah, Vishnu Pandi Chellapandi, Ang Li

Contour

Dans cet article, nous proposons un nouveau cadre, FedProj, pour résoudre les difficultés de l'apprentissage fédéré face à une hétérogénéité généralisée des données. Nous soulignons le problème de l'oubli de la frontière de décision globale par les méthodes existantes en raison de l'hétérogénéité des données, et l'analysons expérimentalement à travers un exemple simple. Les résultats de l'analyse montrent que les méthodes existantes oublient la frontière de décision globale et n'apprennent que la frontière de décision locale, quels que soient les poids initiaux. Pour un apprentissage robuste de la frontière de décision globale et éviter l'oubli, FedProj conçoit une perte de transfert de connaissances d'ensemble côté serveur afin d'améliorer la fusion des connaissances d'ensemble, et utilise le logit d'ensemble moyen des données non étiquetées, non accessible au public, comme mémoire épisodique pour ajuster la mise à jour du gradient du processus d'apprentissage local. Les résultats expérimentaux montrent que FedProj surpasse significativement les méthodes de pointe.

Takeaways, Limitations

Takeaways:
Clarification du problème de l'oubli des limites de décision globales dû à l'hétérogénéité des données dans l'apprentissage fédéré
Démontrer expérimentalement les limites des méthodes d'apprentissage fédéré existantes
Un nouveau cadre FedProj est présenté pour apprendre et maintenir efficacement les limites de décision mondiales
Proposition d'une technique d'ajustement du gradient basée sur la perte de transfert de connaissances d'ensemble côté serveur et la mémoire épisodique
Atteindre des performances de pointe
Limitations:
Des recherches supplémentaires sont nécessaires sur la généralisabilité des exemples de jouets utilisés pour vérifier l’efficacité de la méthode proposée.
Une validation expérimentale supplémentaire sur divers ensembles de données et modèles est nécessaire.
Nécessité d'analyser les changements de performance en fonction de la taille et de la qualité des données non publiées et non étiquetées utilisées dans la mémoire épisodique
👍