본 논문은 불확실성 하에서 정보에 입각한 의사결정을 위한 핵심 요소인 확률 분류기를 다룬다. 최대 기대 효용 원리를 기반으로, 사후 클래스 확률과 오분류 비용을 사용하여 최적 의사결정 규칙을 도출할 수 있다. 그러나 실제로는 오라클 사후 확률의 학습된 근사값만 사용 가능하다. 본 연구는 배치 이진 의사결정에서 근사 사후 확률을 사용하여 발생하는 과잉 위험(후회)을 정량화한다. 오캘리브레이션으로 인한 후회($R^{\mathrm{CL}}$)에 대한 분석적 표현과 교정된 분류기의 후회($R^{\mathrm{GL}}$)에 대한 엄격하고 유익한 상한 및 하한을 제공한다. 이러한 표현을 통해 재교정만으로 대부분의 후회를 해결하는 영역과 그룹핑 손실이 후회를 지배하여 재교정을 넘어서는 추가 훈련이 필요한 영역을 식별할 수 있다. 중요하게도, $R^{\mathrm{CL}}$과 $R^{\mathrm{GL}}$ 모두 교정 곡선과 최근의 그룹핑 손실 추정기를 사용하여 실제로 추정할 수 있다. NLP 실험에서 이러한 양은 더욱 고급 사후 훈련의 기대 이익이 운영 비용에 비해 가치가 있는지 여부를 파악하는 데 사용됨을 보여준다. 마지막으로, 다중 교정 접근 방식이 더 비용이 많이 드는 미세 조정 접근 방식에 대한 효율적인 대안으로서의 잠재력을 강조한다.
