Dans cet article, nous proposons un cadre de sélection de coresets préservant l'utilité (UPCORE) pour remédier à la dégradation des performances lors du processus de désapprentissage, qui implique la suppression ou l'oubli de certains points de données d'un modèle pré-entraîné, notamment dans les modèles de langage à grande échelle (LLM). UPCORE minimise la dégradation des performances du modèle après désapprentissage en supprimant les valeurs aberrantes de l'ensemble oublié corrélées à la variance des représentations du modèle. À travers trois méthodes de désapprentissage standard, UPCORE équilibre efficacement les objectifs contradictoires d'efficacité de la suppression des données et de préservation des performances du modèle, et nous le démontrons à l'aide d'une nouvelle métrique d'évaluation basée sur l'AUC. UPCORE améliore les performances en favorisant le transfert positif entre le coreset et les points de données supprimés, et en réduisant le transfert négatif des points de données supprimés vers d'autres points de données.
