본 논문은 9개의 대규모 언어 모델(LLM)과 3개의 질의응답(QA) 데이터셋을 사용하여 LLM의 과신 문제(예측 신뢰도와 실제 정확도 간의 불일치)를 종합적으로 분석합니다. 표준 자유 생성 설정과 구조화된 답변 방해 요소가 추가된 프롬프트를 비교 분석하여, 답변 방해 요소를 명시적으로 포함하면 오정렬을 크게 완화할 수 있음을 보여줍니다. 분석 결과, 강화 학습을 통해 미세 조정된 큰 모델은 본질적으로 신뢰도가 높지만 쉬운 질문에서 오히려 오정렬이 심해질 수 있으며, 작은 모델은 답변 방해 요소 프롬프트로부터 불균형적으로 이익을 얻지만 여전히 상당히 오정렬되는 경향을 보입니다. 특히 사람 관련 질문에서 지속적인 신뢰도 실패가 발견되었습니다. 결론적으로 신뢰할 수 있고 안전한 LLM 배포를 위해 목표 지향적 미세 조정, 구조화된 프롬프트, 전략적 모델 선택을 제안합니다.
