머신 언러닝(MU)은 비용이 많이 드는 재훈련 없이 훈련된 모델에서 특정 데이터 포인트의 영향을 제거하는 것을 목표로 한다. 대부분의 실용적인 MU 알고리즘은 근사적이며, 성능은 경험적으로만 평가할 수 있다. 따라서 경험적 비교를 최대한 대표적으로 만들기 위해 주의해야 한다. 흔한 관행은 동일하게 훈련된 모델에서 시작하여 MU 알고리즘을 여러 번 독립적으로 실행하는 것이다. 이 연구에서는 동일한 아키텍처 및 데이터 세트에서도 일부 MU 방법이 모델 훈련에 사용된 난수 시드 선택에 매우 민감할 수 있기 때문에 이 관행이 매우 비대표적인 결과를 초래할 수 있음을 보여준다. 특히 결정론적 MU 방법(동일한 훈련 모델에서 시작할 때 항상 동일한 결과를 생성하는 방법)에 이 문제가 관련됨을 보여준다. 따라서 MU 알고리즘의 경험적 비교는 서로 다른 모델 훈련 시드 간의 변동성을 반영해야 한다.
