Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models
Created by
- Haebom
Category
Empty
저자
Taha Entesari, Arman Hatami, Rinat Khaziev, Anil Ramakrishna, Mahyar Fazlyab
개요
본 논문은 실제 환경에 배포된 대규모 언어 모델(LLM)이 민감하거나, 오래되었거나, 독점적인 정보를 학습 해제해야 할 필요성에 직면한 문제를 다룬다. 기존의 학습 해제 방법이 잊기와 유지를 정규화된 상호 작용으로 취급하여 불안정한 최적화와 유지 데이터의 성능 저하를 초래하는 문제를 해결하고자, 본 논문은 LLM 학습 해제를 제약 조건 최적화 문제로 새롭게 정의한다. 구체적으로, 잊기는 로짓-마진 평탄화 손실을 통해, 유지는 별도의 유지 세트에 대한 하드 제약 조건을 통해 강제된다. 제안된 방법은 기존 엔트로피 기반 목적 함수보다 수치적으로 안정적이며, 더 효율적이고 견고한 최적화를 가능하게 한다. 제약 조건 문제는 확장 가능한 프라이멀-듀얼 알고리즘을 사용하여 해결되며, 듀얼 변수의 동역학을 통해 잊기와 유지를 조절한다. 다양한 LLM 아키텍처에서 TOFU 및 MUSE 벤치마크를 통해 제안하는 방법이 기존 방법들을 능가하며, 목표 정보를 효과적으로 제거하고 다운스트림 유틸리티를 유지함을 입증한다.
시사점, 한계점
•
시사점:
◦
LLM 학습 해제를 제약 조건 최적화 문제로 새롭게 정의하여, 잊기와 유지를 효과적으로 분리
◦
로짓-마진 평탄화 손실을 통해 잊기를 명시적으로 강제하여, 기존 방법의 불안정성 문제 해결
◦
소프트맥스 프리(softmax-free) 손실을 사용하여 수치적 안정성과 효율적인 최적화 가능
◦
확장 가능한 프라이멀-듀얼 알고리즘을 통해 잊기와 유지의 균형 조절
◦
다양한 벤치마크에서 기존 방법들을 능가하는 성능 입증
•
한계점:
◦
구체적인 한계점은 논문 요약에서 명시적으로 언급되지 않음
