본 논문은 안전 중요 도메인에서 머신러닝 모델을 배포할 때 지상 진실 레이블 없이 신뢰할 수 있는 모델 성능을 보장하는 방법에 대한 어려움을 해결하기 위해 제안된 연구이다. 이를 위해, 공변량 이동에 민감하고 예측 오류를 나타내는 모델 출력 특징인 '적합성 신호'를 활용하여 성능 저하를 감지하는 새로운 프레임워크인 '적합성 필터'를 제안한다. 적합성 필터는 레이블이 없는 사용자 데이터에 대한 분류기 정확도가 레이블이 있는 테스트 데이터셋에서 측정된 정확도와 비교하여 유의미하게 저하되었는지 평가하고, 이 저하가 허용 가능한 최대 정확도 감소폭을 초과하지 않도록 한다. 테스트 및 사용자 데이터에 대한 적합성 신호를 집계하고 통계적 가설 검정을 사용하여 이러한 경험적 분포를 비교하여 의사결정 불확실성에 대한 통찰력을 제공하며, 다양한 모델과 도메인에 적용 가능한 모듈식 방법이다. 다양한 분류 작업에 대한 실험적 평가를 통해 적합성 필터가 공변량 이동으로 인한 성능 편차를 신뢰할 수 있게 감지하여 고위험 애플리케이션에서 잠재적인 오류를 사전에 완화할 수 있음을 보여준다.
