본 논문은 신뢰성이 중요한 고위험 영역에서 점점 더 많이 배포되는 머신러닝(ML) 시스템의 안전성과 신뢰성을 높이기 위해 불확실성 추정이 어떻게 사용될 수 있는지 조사한다. 특히, 신뢰도가 낮을 때 모델이 예측을 삼가는 선택적 예측에 중점을 둔다. 먼저 모델의 훈련 경로에 아키텍처나 손실을 변경하지 않고도 활용할 수 있는 풍부한 불확실성 신호가 포함되어 있음을 보여준다. 중간 검사점의 예측을 앙상블링하여 다양한 작업에서 작동하고 심층 앙상블의 비용을 피하며 최첨단 선택적 예측 성능을 달성하는 경량의 사후적 기권 방법을 제안한다. 중요한 점은 이 방법이 차등 프라이버시(DP)와 완벽하게 호환되어 프라이버시 노이즈가 불확실성 품질에 어떤 영향을 미치는지 연구할 수 있다는 것이다. 많은 방법들이 DP 하에서 성능이 저하되는 반면, 본 논문의 경로 기반 접근 방식은 강력하며, 프라이버시-불확실성 트레이드오프를 분리하기 위한 프레임워크를 소개한다. 다음으로, 선택적 분류 간격(오라클 정확도-적용 곡선과의 편차)의 유한 샘플 분해를 개발하여 5가지 해석 가능한 오류 원인을 식별하고 간격을 줄일 수 있는 개입을 명확히 한다. 이는 보정만으로는 순위 오류를 수정할 수 없는 이유를 설명하고 불확실성 순서를 개선하는 방법을 유도한다. 마지막으로, 불확실성 신호를 적대적으로 조작하여 높은 정확도를 유지하면서 오류를 숨기거나 서비스를 거부할 수 있음을 보여주고, 보정 감사와 검증 가능한 추론을 결합한 방어 메커니즘을 설계한다. 이러한 기여는 불확실성 추정을 개선, 평가 및 보호함으로써 신뢰할 수 있는 ML을 발전시켜 정확한 예측을 할 뿐만 아니라 "모르겠습니다"라고 말할 때를 아는 모델을 가능하게 한다.
