Cet article aborde plusieurs défis liés au désapprentissage automatique des modèles linguistiques à grande échelle (MLH) et propose une approche améliorée. Étant donné que les LH peuvent soulever des problèmes juridiques et de confidentialité en raison de leur capacité à mémoriser des contenus sensibles ou protégés par des droits d'auteur, le désapprentissage automatique, qui supprime des contenus spécifiques tout en maintenant les performances globales, suscite un intérêt croissant. Pour remédier aux problèmes d'évaluation inadéquats du désapprentissage automatique actuel, nous proposons trois indicateurs supplémentaires : la diversité des jetons, la sémantique des phrases et l'exactitude factuelle. De plus, nous classons les méthodes de désapprentissage en méthodes non ciblées et ciblées et analysons leurs défis respectifs (par exemple, le comportement imprévisible du désapprentissage non ciblé et la régularisation insuffisante du désapprentissage ciblé). Pour atténuer ces défis, nous proposons d'utiliser l'objectif de maximisation de l'entropie (ME) pour le désapprentissage non ciblé et la perte de préservation des réponses (AP) pour le désapprentissage ciblé comme régularisation. Les résultats expérimentaux de trois scénarios – désapprentissage fictif, désapprentissage continu et désapprentissage réel – démontrent l’efficacité de l’approche proposée.
