On the limitation of evaluating machine unlearning using only a single training seed
Created by
Haebom
Category
Empty
저자
Jamie Lanyon, Axel Finke, Petros Andreou, Georgina Cosma
개요
머신 언러닝(MU)은 비용이 많이 드는 재훈련 없이 훈련된 모델에서 특정 데이터 포인트의 영향을 제거하는 것을 목표로 한다. 대부분의 실용적인 MU 알고리즘은 근사적이며 그 성능은 경험적으로만 평가할 수 있다. 따라서 경험적 비교를 가능한 한 대표적으로 만드는 데 주의를 기울여야 한다. 일반적인 방법은 동일한 훈련된 모델에서 시작하여 MU 알고리즘을 여러 번 독립적으로 실행하는 것이다. 이 연구에서는 동일한 아키텍처와 데이터 세트에서도 일부 MU 방법이 모델 훈련에 사용된 난수 시드 선택에 매우 민감할 수 있으므로 이러한 관행이 매우 비대표적인 결과를 초래할 수 있음을 보여준다. 따라서 MU 알고리즘의 경험적 비교는 서로 다른 모델 훈련 시드 간의 가변성을 반영해야 한다.
시사점, 한계점
•
MU 알고리즘의 경험적 비교는 모델 훈련에 사용되는 난수 시드의 가변성을 고려해야 한다.
•
동일한 훈련된 모델에서 시작하여 MU 알고리즘을 여러 번 독립적으로 실행하는 것은 비대표적인 결과를 초래할 수 있다.
