Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

FedComLoc : Formation distribuée efficace en termes de communication pour les modèles clairsemés et quantifiés

Created by
  • Haebom

Auteur

Kai Yi, Georg Meinhardt, Laurent Condat, Peter Richt arik

Contour

Cet article propose FedComLoc, un nouvel algorithme basé sur l'algorithme Scaffnew, pour résoudre le problème du coût de communication dans l'apprentissage fédéré (FL). S'appuyant sur les atouts de Scaffnew, FedComLoc améliore encore l'efficacité de la communication en intégrant des techniques de compression efficaces telles que la compression TopK et la quantification. Les résultats expérimentaux démontrent que cette méthode réduit considérablement la surcharge de communication dans les environnements hétérogènes.

Takeaways, Limitations

•
Takeaways:
◦
Une nouvelle méthode est présentée pour améliorer encore l’efficacité de l’algorithme Scaffnew.
◦
Une méthode pratique de réduction des coûts de communication utilisant la compression et la quantification TopK est présentée.
◦
Contribue à améliorer les performances de l'apprentissage fédéré dans des environnements hétérogènes
•
Limitations:
◦
Dépendance de l'algorithme proposé à une technique de compression spécifique (TopK)
◦
D’autres expériences avec diverses techniques de compression et distributions de données sont nécessaires.
◦
Une validation supplémentaire est nécessaire pour une application dans le monde réel.
👍
Made with Slashpage