Cet article présente une évaluation de l'efficacité des attaques par jetons logiciels (STA) utilisées dans le désapprentissage automatique de modèles de langage à grande échelle (LLM). Si des recherches antérieures ont démontré que les STA peuvent extraire avec succès des informations non apprises, cette étude démontre que, dans un environnement d'audit robuste, les STA peuvent extraire n'importe quelle information des LLM, qu'elle soit incluse dans l'algorithme de désapprentissage ou dans les données d'entraînement d'origine. À l'aide de benchmarks tels que Who Is Harry Potter? et TOFU, nous démontrons cela, révélant que même un petit nombre de jetons logiciels (1 à 10) peut divulguer une chaîne arbitraire de plus de 400 caractères. Par conséquent, nous soulignons la nécessité d'une approche prudente pour déployer efficacement les STA dans les audits de désapprentissage.
