Cet article propose la distillation de caractéristiques pour l'apprentissage fédéré hétérogène (FedFD), une nouvelle méthode visant à améliorer l'agrégation des connaissances dans l'apprentissage fédéré hétérogène (Hetero-FL). L'Hetero-FL actuel utilise des techniques de distillation d'ensemble pour améliorer les performances d'un modèle global par distillation logit, mais présente l'inconvénient de ne pas pouvoir compenser les biais de connaissance liés aux modèles hétérogènes. Pour résoudre ce problème, FedFD propose un paradigme de distillation de connaissances fédérées d'ensemble basé sur les caractéristiques, qui améliore l'intégration des connaissances entre modèles hétérogènes en alignant les informations sur les caractéristiques par des projections orthogonales. Le modèle global du serveur gère des couches de projection pour chaque architecture de modèle client afin d'aligner individuellement les caractéristiques, et des techniques orthogonales sont utilisées pour reparamétrer les couches de projection afin d'atténuer les biais de connaissance et de maximiser les connaissances distillées. Les résultats expérimentaux démontrent que FedFD surpasse les méthodes de pointe existantes.
