Can Vision Models Truly Forget? Mirage: Representation-Level Certification of Visual Unlearning
Author
- Haebom
Category
Empty
저자
Zhenyu Yu, Yangchen Zeng, Chunlei Meng, Guangzhen Yao, Shuigeng Zhou
💡 개요
본 논문은 기존 수직 연합 학습(VFL)에서의 기계 학습 망각(machine unlearning) 연구가 출력 수준 지표에만 의존하여 진정한 망각을 제대로 평가하지 못한다는 문제를 제기합니다. 이를 해결하기 위해, 네 가지 보완적인 진단 도구를 포함하는 표현 수준 감사 프레임워크인 Mirage를 제안합니다. Mirage 실험 결과, 기존 망각 방법들이 출력 수준에서는 망각된 것처럼 보여도 표현 수준에서는 상당한 클래스 구조를 유지하고 있음을 발견했습니다.
🔑 시사점 및 한계
•
표현 수준 평가의 중요성: 기존 VFL 망각 방법들은 출력 수준에서는 망각 인증을 통과하더라도, 표현 수준에서는 여전히 원본 모델과 유사한 클래스 구조를 유지하여 진정한 망각이 이루어지지 않았음을 발견했습니다. 이는 향후 VFL 망각 연구에서 표현 수준의 평가 표준을 요구합니다.
•
망각 트릴레마(Unlearning Trilemma): 현재의 망각 방법들은 높은 유용성(utility), 출력 수준 망각, 그리고 표현 수준 망각을 동시에 달성하지 못하는 '망각 트릴레마'에 직면해 있습니다.
•
클래스-샘플 비대칭성: 클래스 수준의 망각은 표현 수준에서 강한 흔적을 남기지만, 샘플 수준의 망각은 무작위 수준과 구별할 수 없을 정도로 효과적인 것으로 나타났습니다. 또한, 네트워크 깊이에 따라 잔여 클래스 정보가 지속적으로 나타나는 것을 확인했습니다.
•
한계점: 본 연구에서 제안된 Mirage는 표현 수준의 평가를 위한 프레임워크를 제공하지만, 실제로 모든 종류의 표현 수준 망각을 완벽하게 측정할 수 있는지에 대한 추가적인 검증이 필요할 수 있습니다. 또한, 망각 트릴레마를 해결하기 위한 새로운 방법론 개발이 향후 연구 과제로 남습니다.
