본 논문은 기계 학습, 특히 위험 관리가 필수적인 고위험 상황에서 예측 불확실성의 신뢰할 수 있는 추정이 중요함을 강조합니다. 예측 불확실성을 정량화하는 최적의 방법에 대한 보편적인 합의가 없는 현실을 바탕으로, 정보 이론적 측정 방식을 이용한 예측 불확실성 측정 프레임워크를 제안합니다. 이 프레임워크는 (I) 예측 모델과 (II) 실제 예측 분포의 근사 방법이라는 두 가지 요소에 따라 예측 불확실성 측정 방식을 분류합니다. 두 요소의 모든 조합을 검토하여 기존 및 새롭게 도입된 예측 불확실성 측정 방식들을 도출하고, 다양한 작업에 걸쳐 광범위하게 평가하여 특정 측정 방식이 우수한 조건을 파악합니다. 분석 결과, 분포 내(ID) 데이터에서는 예측 모델과 불확실성 측정 방식의 선택을 일치시키는 것이 중요하며, 분포 외(OOD) 데이터에서는 인식 불확실성 측정 방식의 한계가 있으며, 측정 방식 간의 분리는 ID 및 OOD 데이터 간에 크게 다름을 보여줍니다. 이러한 통찰력을 통해 예측 불확실성 측정 방식에 대한 보다 포괄적인 이해를 제공하고, 암시적 가정과 관계를 밝힙니다.
