Este artículo destaca las limitaciones de las técnicas de desaprendizaje para abordar la posible fuga de información confidencial de los datos de entrenamiento de modelos lingüísticos a gran escala (LLM). Específicamente, en un entorno de implementación real donde se exponen las API logit previas y posteriores al desaprendizaje, proponemos un novedoso ataque de extracción de datos que aprovecha las señales del modelo pre-desaprendido para extraer patrones de los datos eliminados del modelo post-desaprendido. Este ataque mejora significativamente la tasa de éxito de la extracción de datos al combinar la guía del modelo y las estrategias de filtrado de tokens, y destacamos los riesgos reales a través de un conjunto de datos de diagnóstico médico. Este estudio sugiere que el desaprendizaje puede, de hecho, aumentar el riesgo de fuga de información personal y sugiere evaluar las técnicas de desaprendizaje frente a un modelo de amenaza más amplio, incluyendo enfoques adversarios para el modelo pre-desaprendido.
