Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Cet article souligne que si les approches d'apprentissage fédéré existantes se sont concentrées sur la confidentialité des données, l'émergence des modèles de langage à grande échelle (MLH) a renforcé l'importance de la protection de la propriété intellectuelle (PI). Par conséquent, une nouvelle approche d'apprentissage fédéré capable de protéger à la fois les données sensibles et les modèles propriétaires est nécessaire. Pour y remédier, nous proposons une nouvelle méthode d'apprentissage fédéré, FedQSN. FedQSN masque aléatoirement certains paramètres du modèle et quantifie les paramètres restants, permettant au modèle transmis par le serveur au client d'agir comme un proxy préservant la confidentialité. Les résultats expérimentaux obtenus sur divers modèles et tâches démontrent que FedQSN améliore la protection des paramètres du modèle par rapport aux méthodes existantes, tout en maintenant des performances robustes dans un environnement d'apprentissage fédéré.
Takeaways, Limitations
•
Takeaways:
◦
Nous présentons une nouvelle approche de la protection de la propriété intellectuelle dans l’apprentissage fédéré de modèles linguistiques à grande échelle.
◦
Nous présentons une méthode efficace pour améliorer la protection de la confidentialité des paramètres du modèle.
◦
Nous démontrons expérimentalement que la confidentialité peut être améliorée sans compromettre les performances de l’apprentissage fédéré existant.
•
Limitations:
◦
Il manque une analyse théorique sur la sécurité de la méthode proposée.
◦
Une évaluation plus approfondie de la résistance à divers scénarios d’attaque est nécessaire.
◦
Les résultats expérimentaux sont limités à des modèles et des tâches spécifiques et nécessitent des recherches supplémentaires pour déterminer leur généralisabilité.
