Este artículo presenta SEAT, un novedoso método para abordar el problema del olvido fatal que surge durante el ajuste fino de modelos lingüísticos a gran escala (LLM). A diferencia de estudios previos que se centraban en mantener el rendimiento con datos existentes, este artículo se centra en la pérdida de capacidades esenciales adquiridas durante la alineación, en particular la capacidad de representar con precisión la incertidumbre del modelo (conciencia de la ignorancia). Los autores formalizan el concepto de conciencia de la ignorancia y demuestran que los métodos de ajuste fino existentes pueden perjudicarla al inducir una deriva de activación, lo que provoca comportamientos indeseables como las alucinaciones. SEAT integra un ajuste disperso, que limita la deriva de activación, y un novedoso método de perturbación de entidades para resolver el entrelazamiento de conocimiento, adquiriendo eficazmente nuevo conocimiento a la vez que se mantiene la conciencia de la ignorancia alineada. Los resultados experimentales muestran que SEAT supera a los métodos existentes tanto en la retención de la conciencia de la ignorancia como en el rendimiento del ajuste fino en conjuntos de datos reales y sintéticos.
