Cette étude examine les mécanismes et facteurs de mémoire dans les modèles linguistiques à grande échelle (LLM) affinés, en se concentrant sur les préoccupations en matière de confidentialité dans le domaine de la santé. À l'aide de l'ensemble de données PHEE d'événements de pharmacovigilance, nous examinons comment divers aspects du processus d'affinement affectent la tendance du modèle à mémoriser les données d'entraînement. Nous détectons les données mémorisées à l'aide de deux méthodes principales : les attaques par inférence d'appartenance et une tâche de génération utilisant des préfixes d'invite. Nous analysons l'application de différentes matrices de pondération dans les architectures de transformateurs, la relation entre perplexité et mémorisation, et l'effet de l'augmentation du rang dans l'affinement par adaptation de rang faible (LoRA). Les principaux résultats sont les suivants : (1) les matrices de valeurs et de sortie contribuent davantage à la mémorisation que les matrices de requêtes et de clés ; (2) une perplexité plus faible dans les modèles affinés conduit à une mémorisation accrue ; et (3) des rangs LoRA plus élevés conduisent à une mémorisation accrue, mais avec des rendements décroissants. Ces résultats apportent un éclairage sur le compromis entre performance du modèle et risques pour la confidentialité dans les LLM affinés. Les résultats de cette étude fournissent des orientations Takeaways pour développer des stratégies plus efficaces et responsables pour appliquer des modèles linguistiques à grande échelle tout en gérant les problèmes de confidentialité des données.
