본 논문은 기존 기계 학습 모델의 데이터 삭제(unlearning) 성능 평가 지표인 unlearning accuracy (UA)와 membership inference attack (MIA)의 한계를 지적합니다. 기존 지표는 실제로 데이터가 잊혀졌는지(forgetting reliability)를 제대로 평가하지 못한다는 점을 밝히고, 불확실성 정량화 관점에서 UA와 MIA에서 잘못 분류된 데이터의 정답 레이블이 여전히 예측 집합에 포함되는 '가짜 unlearning' 문제를 제기합니다. 이를 해결하기 위해, conformal prediction에 기반한 두 가지 새로운 평가 지표를 제안하고, Carlini & Wagner adversarial attack loss에 conformal prediction을 통합한 새로운 unlearning 프레임워크를 제시합니다. 이 프레임워크는 정답 레이블을 conformal prediction 집합에서 효과적으로 제거하여 unlearning 성능을 향상시킵니다. 이미지 분류 작업에 대한 실험을 통해 제안된 지표와 프레임워크의 효과를 입증하며, 기존 unlearning 방법의 UA를 평균 6.6% 향상시켰음을 보여줍니다.
