UniErase: Unlearning Token as a Universal Erasure Primitive for Language Models
Created by
Haebom
저자
Miao Yu, Liang Lin, Guibin Zhang, Xinfeng Li, Junfeng Fang, Ningyu Zhang, Kun Wang, Yang Wang
개요
본 논문은 대규모 언어 모델(LLM)에서 민감한 정보의 영향을 제거하기 위한 새로운 언어 모델 재학습 패러다임인 UniErase를 제시합니다. 기존의 미세 조정 기반 언어 모델 재학습 방법들이 효과와 모델 성능 간의 균형을 맞추지 못하고, 광범위한 지식 제거 시 모델 붕괴를 초래하는 문제점을 해결하기 위해, UniErase는 학습 가능한 매개변수 접미사(unlearning token)를 사용하여 목표 지식 제거 동작을 유도합니다. UniErase는 (I) 토큰 최적화를 통한 원하는 재학습 출력을 모델의 자기 회귀 확률 분포에 연결하는 최적화 단계와 (II) 학습된 토큰을 활성화하여 특정 지식 제거 목표를 확률적으로 유도하는 경량 모델 편집 단계의 두 단계로 구성됩니다. UniErase는 가상 및 실제 지식 설정에서 배치, 순차 및 정밀한 재학습에 걸쳐 최첨단(SOTA) 성능을 달성하며, 기존 방법보다 훨씬 우수한 모델 성능과 재학습 효율을 보입니다.
시사점, 한계점
•
시사점:
◦
학습 가능한 매개변수 접미사(unlearning token)를 활용한 새로운 언어 모델 재학습 패러다임을 제시하여 기존 방법의 한계를 극복.
◦
배치, 순차, 정밀 재학습 모두에서 최첨단 성능 달성.
◦
기존 최고 성능 모델 대비 모델 성능 및 재학습 효율 모두에서 상당한 개선. LLM 매개변수의 극히 일부만 수정하면서도 우수한 성능을 보임.
