Dans cet article, nous proposons FLAME, un nouveau framework pour l'apprentissage fédéré dans des environnements clients aux ressources limitées. Les méthodes existantes de réglage fin fédéré LoRA adaptatives aux ressources utilisent des versions compressées des matrices LoRA globales pour s'adapter aux diverses ressources de calcul des clients, mais souffrent d'une dégradation des performances due à la perte d'informations. FLAME repose sur l'architecture SMoE (Sparse Mix of Experts), qui conserve l'intégralité des matrices LoRA globales non compressées tout en faisant varier le nombre d'experts activés par client pour garantir l'adaptabilité côté client. Il résout des problèmes tels que l'inadéquation de la taille des sorties due aux activations partielles d'experts et le déséquilibre de la qualité de l'apprentissage des experts entre les clients grâce à un mécanisme de rééquilibrage léger et un schéma d'agrégation sensible à l'activation. Les résultats expérimentaux sur divers environnements de calcul démontrent que FLAME surpasse les méthodes existantes.
