Cet article se concentre sur l'apprentissage fédéré (AF), qui permet d'entraîner des modèles linguistiques multilingues à grande échelle (MLH) à partir de données multilingues diversifiées et distribuées, notamment pour les langues à faibles ressources. La personnalisation à l'aide de modules de réglage fin paramétriquement efficace (PEFT), tels que LoRA, est couramment utilisée pour améliorer les performances spécifiques aux clients. Cela implique des stratégies de personnalisation (SP), telles que la conception de structures d'adaptateurs PEFT (par exemple, des couches pour ajouter LoRA et leurs rangs) et la sélection d'hyperparamètres pour le réglage fin (par exemple, les taux d'apprentissage). Au lieu de configurer manuellement les SP, cet article propose FedP²EFT, une méthode d'apprentissage-personnalisation fédérée pour les LLM multilingues dans un environnement FL multi-appareils. FedP²EFT apprend conjointement une structure PEFT personnalisée optimale pour chaque client via une sélection bayésienne par rangs clairsemés. Des évaluations sur des benchmarks FL multilingues simulés et réels démontrent que FedP²EFT surpasse significativement les méthodes de réglage fin personnalisées existantes et complète les autres méthodes FL existantes.
