ACU: Analytic Continual Unlearning for Efficient and Exact Forgetting with Privacy Preservation
Created by
Haebom
저자
Jianheng Tang, Huiping Zhuang, Di Fang, Jiaxu Li, Feijiang Han, Yajiang Huang, Kejia Fan, Leye Wang, Zhanxing Zhu, Shanghang Zhang, Houbing Herbert Song, Yunhuai Liu
개요
본 논문은 지속적 학습(Continual Learning, CL) 환경에서 개인정보보호 및 보안 요구사항을 충족하기 위해 지속적 잊기(Continual Unlearning, CU) 문제를 해결하는 새로운 방법을 제시합니다. 기존의 잊기 방법들은 단일 샷 공동 잊기에 초점을 맞추고, 과거 데이터 재접근 불가능, 시스템 효율성과 모델 정확도 사이의 균형 문제, 적대적 공격에 대한 취약성 등의 한계를 가지고 있습니다. 본 논문에서는 기존 방법들의 한계가 기울기 기반 업데이트에 근본적으로 기인한다는 점을 밝히고, 기울기가 없는 새로운 방법인 Analytic Continual Unlearning (ACU)을 제안합니다. ACU는 최소 제곱법을 사용하여 해석 가능한 방식으로 분석적(닫힌 형태) 해를 재귀적으로 도출하여 효율적이고 정확한 잊기를 가능하게 합니다. 이론적 및 실험적 평가를 통해 ACU의 우수성을 검증합니다.
시사점, 한계점
•
시사점:
◦
기울기 기반이 아닌 분석적 방법을 사용하여 효율적이고 정확한 지속적 잊기를 가능하게 함.
◦
과거 데이터에 대한 접근 없이 개인정보보호 및 보안을 유지하면서 잊기를 수행.
◦
시스템 효율성과 모델 정확도 사이의 균형을 개선.
◦
해석 가능한 방식으로 잊기 과정을 수행.
•
한계점:
◦
제안된 ACU의 성능은 최소 제곱법의 가정에 의존적일 수 있음. 실제 데이터 분포가 가정과 다를 경우 성능 저하 가능성 존재.
