Este artículo analiza varios desafíos asociados con el desaprendizaje automático de modelos de lenguaje a gran escala (LLM) y propone un enfoque mejorado. Dado que los LLM pueden plantear problemas legales y de privacidad debido a su capacidad para memorizar contenido sensible o protegido por derechos de autor, el desaprendizaje automático, que elimina contenido específico manteniendo el rendimiento general, está ganando atención. Para abordar los problemas de evaluación inadecuados del desaprendizaje automático actual, proponemos tres métricas adicionales: diversidad de tokens, semántica de oraciones y precisión fáctica. Además, clasificamos los métodos de desaprendizaje en métodos no dirigidos y dirigidos, y analizamos sus respectivos desafíos (p. ej., el comportamiento impredecible del desaprendizaje no dirigido y la regularización insuficiente del desaprendizaje dirigido). Para mitigar estos desafíos, proponemos utilizar el objetivo de maximización de entropía (ME) para el desaprendizaje no dirigido y la pérdida de preservación de respuestas (PA) para el desaprendizaje dirigido como regularización. Los resultados experimentales para tres escenarios (desaprendizaje ficticio, desaprendizaje continuo y desaprendizaje real) demuestran la eficacia del enfoque propuesto.
