Class Unlearning via Depth-Aware Removal of Forget-Specific Directions

작성자

Haebom

카테고리

Empty

저자

Arman Hatami, Romina Aalishah, Ilya E. Monosov

💡 개요

본 논문은 훈련된 AI 모델에서 특정 클래스에 대한 지식을 제거하는 '클래스 언러닝'의 기존 방법들이 진정한 망각을 달성하지 못하고, 단순히 분류기 헤드의 억제에 의존하거나 모델 깊은 곳에 관련 정보가 남아있는 문제를 지적합니다. 이를 해결하기 위해, 저자들은 경사 하강법 기반 최적화 없이 미리 훈련된 신경망에서 망각을 유발하는 방향들을 제거하는 'DAMP(Depth-Aware Modulation by Projection)'라는 새로운 단발성(one-shot), 닫힌 형태(closed-form) 가중치 수정 방법을 제안합니다. DAMP는 각 단계에서 클래스 프로토타입을 계산하고, 망각 클래스 방향을 추출하여 투영 기반 업데이트를 적용함으로써 다운스트림 민감도를 줄입니다.

🔑 시사점 및 한계

•

기존 클래스 언러닝 방법의 근본적인 한계를 규명하고, 단순한 정확도 감소가 아닌 진정한 지식 제거의 중요성을 강조합니다.

•

DAMP 방법론은 경사 하강법 없이 효율적으로 망각을 유도하면서도, 기존 클래스 성능을 유지하고 모델 깊은 곳에 남아있는 망각 관련 구조를 효과적으로 제거하는 새로운 가능성을 제시합니다.

•

모델 깊이에 따라 수정 크기를 조절하는 '깊이 인식' 스케일링 규칙은 이전 레이어에서의 정보 손실을 최소화하면서 효과적인 망각을 달성하는 데 기여합니다.

•

여러 데이터셋과 모델 아키텍처에서 기존 방법 대비 우수한 성능을 보이며, 재훈련 골드 스탠다드에 근접하는 결과를 보여주어 실제 적용 가능성을 높입니다.

PDF 보기

Made with Slashpage