Xiaoyuan Zhu, Muru Zhang, Ollie Liu, Robin Jia, Willie Neiswanger
개요
본 논문은 현대 대규모 언어 모델이 민감하거나 유해하거나 저작권이 있는 지식을 암호화하는 문제를 해결하기 위해, 모델 전체를 재훈련하지 않고 특정 지식 영역을 제거하는 사후 학습 제거(post-hoc unlearning) 기법을 연구합니다. 기존 사후 학습 제거 과정의 주요 병목 현상은 목표 영역을 근사하고 모델이 해당 영역을 잊도록 유도하는 효과적인 '잊기 집합(forget sets)'을 구성하는 것입니다. 본 연구는 언어 모델 자체를 사용하여 고품질의 '잊기 집합'을 생성하는 확장 가능하고 자동화된 접근 방식을 제시합니다. 구조화된 프롬프트 파이프라인을 통해 교과서 스타일의 데이터를 합성하며, 입력으로는 도메인 이름만 필요합니다. 생물 안보, 사이버 보안, 해리 포터 소설에 대한 학습 제거 실험을 통해, 합성 데이터셋이 기존 합성 데이터셋보다 일관되게 우수하며 전문가가 큐레이션한 데이터셋과 비슷한 성능을 보임을 보여줍니다. 또한, ablation study를 통해 다단계 생성 파이프라인이 데이터 다양성을 크게 향상시켜 학습 제거 유용성을 향상시킨다는 것을 밝힙니다. 결론적으로, 본 연구는 수동 개입 없이 다양한 신흥 영역에 대한 실용적이고 확장 가능한 학습 제거를 위한 유망한 방법으로 합성 데이터셋을 제시합니다. 코드와 데이터셋은 https://github.com/xyzhu123/Synthetic_Textbook 에서 공개합니다.
