Este artículo presenta DP2Unlearning, un novedoso marco de desaprendizaje para resolver el problema de recordar y filtrar información personal o de derechos de autor incluida en los datos de entrenamiento de modelos lingüísticos a gran escala (LLM). Los métodos de reentrenamiento existentes presentan las limitaciones de un coste excesivo, y el desaprendizaje aproximado presenta la limitación de una garantía insuficiente de olvido. DP2Unlearning aplica privacidad diferencial ε (DP) a los datos de entrenamiento y utiliza el LLM entrenado para permitir un desaprendizaje eficiente, junto con la garantía de evitar la fuga de información según el ε seleccionado. Los resultados experimentales muestran que DP2Unlearning muestra un rendimiento similar al método de reentrenamiento, realiza el desaprendizaje a aproximadamente la mitad del coste y supera al método de desaprendizaje aproximado en términos de preservación de la utilidad del modelo y olvido de la información objetivo.
