Cet article aborde le réglage des instructions, une étape cruciale pour améliorer la réactivité des grands modèles de langage (LLM) pré-entraînés aux instructions. L'apprentissage fédéré (FL) est efficace pour le réglage des LLM en aidant les clients à exploiter leurs données d'instructions privées massives et en améliorant la diversité des données. Alors que le réglage fédéré traditionnel utilise toutes les données locales, ce qui entraîne une surcharge de calcul excessive et un surapprentissage des données locales, les solutions centralisées efficaces en données ne sont pas adaptées au FL en raison de problèmes de confidentialité. Dans cet article, nous présentons une méthode de réglage des instructions efficace en données fédérées appelée FedHDS. FedHDS ajuste les LLM à l'aide d'un sous-ensemble représentatif de données côté périphérie, réduisant ainsi la redondance des données au sein et entre les clients sans partager les données brutes. Les résultats expérimentaux utilisant divers LLM, ensembles de données et divisions montrent que FedHDS améliore Rouge-L sur des tâches inconnues de 10,72 % en moyenne par rapport aux méthodes de pointe de réglage des instructions fédérées sur données complètes, tout en améliorant l'efficacité de l'apprentissage jusqu'à 10 fois en utilisant moins de 1,5 % d'échantillons de données.
