Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

CLoVE : Apprentissage fédéré personnalisé par regroupement d'intégrations de vecteurs de perte

Created by
  • Haebom

Auteur

Randeep Bhatia, Nikos Papadis, Murali Kodialam, TV Lakshman, Sayak Chakrabarty

Contour

Le clustering de vecteurs de pertes (CLoVE) est un nouvel algorithme d'apprentissage fédéré par clusters (CFL). Dans CFL, les clients sont naturellement regroupés en clusters en fonction de la distribution de leurs données, mais l'identification de ces clusters est complexe car les affectations des clients sont inconnues. CLoVE utilise des intégrations client dérivées des pertes de modèles pour les données client et exploite l'idée que les clients d'un même cluster partagent des valeurs de perte similaires, tandis que les clients de clusters différents présentent des profils de perte distincts. Grâce à ces intégrations, CLoVE peut identifier et séparer de manière itérative les clients de différents clusters et optimiser les modèles spécifiques à chaque cluster grâce à l'agrégation fédérée. Les principaux avantages de CLoVE par rapport aux algorithmes CFL existants sont (1) sa simplicité, (2) son applicabilité en environnement supervisé et non supervisé, et (3) l'absence d'initialisation de modèle quasi-optimale, ce qui rend CLoVE plus robuste et adapté aux applications concrètes. Nous établissons des limites de convergence théoriques et démontrons que CLoVE récupère avec précision des clusters avec une probabilité élevée en un seul tour et converge vers le modèle optimal de manière exponentiellement plus rapide dans des configurations linéaires. Des expériences exhaustives comparant CLoVE à divers algorithmes CFL et d'apprentissage fédéré personnalisé (PFL) courants sur différents types d'ensembles de données et un large éventail de configurations non IID démontrent que CLoVE atteint des précisions de modèle de pointe sur diverses tâches PFL supervisées et non supervisées, ainsi qu'une récupération de clusters très précise en seulement quelques tours d'apprentissage.

Takeaways, Limitations

Takeaways:
Il fournit une nouvelle solution simple et efficace au problème des CFL.
Elle s’applique à la fois à l’apprentissage supervisé et non supervisé.
Il convient aux applications du monde réel car il ne nécessite pas d’initialisation optimale du modèle.
Nous assurons la performance de l'algorithme en établissant des bornes de convergence théoriques.
Obtenez des performances de pointe sur une variété d’ensembles de données et de paramètres.
Limitations:
Le __T1643_____ spécifique n'est pas explicitement mentionné dans l'article. D'autres expériences et analyses sont nécessaires pour mieux comprendre les limites de l'algorithme. En particulier, davantage d'évaluations de performance sur de grands ensembles de données ou des distributions de données très complexes sont nécessaires.
👍