본 논문은 기존의 정확도, 예상 보정 오류(ECE), 위험-범위 곡선 아래 면적(AURC)과 같은 지표들이 신뢰도를 제대로 반영하지 못한다는 점을 지적하며, 신뢰도 임계값 하에서 예측 모델을 평가하는 새로운 지표인 Confidence-Weighted Selective Accuracy (CWSA)와 그 정규화된 변형인 CWSA+를 제안합니다. CWSA와 CWSA+는 자신감 있는 정확도를 명시적으로 보상하고 지나치게 자신감 있는 잘못된 분류를 처벌함으로써, 기존 지표들이 무시하거나 평균화하여 정보 손실을 야기하던 신뢰도 정보를 효과적으로 활용합니다. MNIST, CIFAR-10과 같은 실제 데이터셋과 다양한 인공 모델 변형을 사용한 실험을 통해, CWSA와 CWSA+가 기존 지표보다 신뢰도에 민감한 테스트에서 우수한 성능을 보이며, 안전 중요도가 높은 영역에서 선택적 예측 시스템을 개발 및 평가하는 데 적합함을 보여줍니다.
