본 논문은 대규모 언어 모델(LLM)의 자기 개선 능력이 신뢰도 추정에 미치는 영향을 조사합니다. 자기 개선 과정을 거치면서 모델의 성능은 향상될 수 있지만, 동시에 자기 편향(self-bias)으로 인해 과신(overconfidence)이 발생할 수 있다는 점에 주목합니다. 세 가지 자기 개선 방법(기본 프롬프팅, 사고 연쇄 프롬프팅, 튜닝 기반 방법)을 평가하여 반복적인 자기 개선이 예상 보정 오차(ECE)를 증가시키고 높은 신뢰도에서 정확도가 낮아지는 현상을 확인합니다. 또한, 자기 개선과 신뢰도 보정 기술의 통합 전략 세 가지(자기 개선 후 보정, 자기 개선 전 보정, 반복적인 자기 개선 단계별 보정)를 비교 분석하여 반복적인 보정이 ECE를 가장 효과적으로 줄이고 보정 성능을 향상시킨다는 것을 밝힙니다. 본 연구는 자기 개선 LLM을 보정 관점에서 최초로 연구한 것으로, 모델 성능과 신뢰성의 균형을 맞추는 데 중요한 통찰력을 제공합니다.
