본 논문은 대규모 언어 모델(LLM)의 신뢰도 조정 능력을 동적인 논쟁 환경에서 평가한 연구입니다. 기존의 정적인 질의응답 과제를 넘어, 다회차 논쟁 형식과 제로섬 구조를 도입하여 모델의 신뢰도를 측정했습니다. 10개의 최첨단 LLM을 이용하여 60개의 3라운드 정책 논쟁을 진행하고, 각 라운드 후 모델이 승리 확률에 대해 0~100%의 신뢰도를 자체 평가하도록 했습니다.
시사점, 한계점
•
시사점:
◦
LLM은 동적이고 다회차 과제에서 자신의 신뢰도를 정확하게 평가하거나 업데이트하는 능력이 부족함을 보여줌.
◦
LLM이 체계적인 과신을 보이며, 논쟁이 진행될수록 신뢰도가 증가하는 경향을 나타냄.
◦
LLM의 내부 추론 과정과 공개적인 신뢰도 평가 사이에 불일치가 존재할 수 있음.
◦
LLM의 출력물을 보조 역할이나 에이전트 설정에서 신중한 검토 없이 배포하는 것에 대한 우려 제기.
•
한계점:
◦
본 연구는 특정 유형의 논쟁(정책 논쟁)과 제한된 수의 LLM에 대한 결과를 바탕으로 함. 다른 유형의 과제나 더 많은 LLM에 대한 일반화에는 주의가 필요함.
◦
모델의 신뢰도 평가 방식(0-100%의 자체 평가)이 모델의 실제 신뢰도를 완벽하게 반영하지 못할 가능성이 있음.
◦
LLM의 "사고 과정"에 대한 분석이 제한적임. 더욱 심층적인 분석을 통해 신뢰도 오류의 근본 원인을 규명해야 함.
