본 논문은 대규모 언어 모델(LLM)의 성공에 중요한 기술인 선호도 정렬(preference alignment)이 모델의 보정(calibration) 성능을 저하시키는 문제를 다룬다. 선호도 정렬 과정에서 발생하는 선호도 붕괴(preference collapse) 현상이 과신(overconfidence)과 보정 저하로 이어진다는 것을 관찰하고, 이를 해결하기 위한 방법을 제시한다. 구체적으로, 도메인 특화 지식을 활용한 미세 조정(fine-tuning)의 중요성을 강조하고, 예상 보정 오차(ECE)를 기준으로 보정 가능(calibratable) 및 불가능(non-calibratable) 영역으로 모델을 분류한다. 보정 가능 영역에서는 성능 저하 없이 적절한 보정을 달성하는 보정 인식 미세 조정 기법을, 보정 불가능 영역에서는 EM 알고리즘 기반 ECE 정규화를 통한 미세 조정 손실 함수를 제안한다. 광범위한 실험을 통해 제안된 방법들의 효과를 검증한다.
