본 논문은 대규모 언어 모델(LLM)의 신뢰도 조정 능력을 동적인 논쟁 설정에서 평가한 연구입니다. 기존 연구들과 달리, 다중 턴 형식의 제로섬 구조를 도입하여 새로운 정보가 등장함에 따라 모델이 믿음을 업데이트하는 과정과 과제 관련 불확실성을 통제했습니다. 10개의 최첨단 LLM을 이용하여 60개의 3라운드 정책 논쟁을 진행하고, 각 라운드 후 모델의 승리 확률에 대한 신뢰도(0-100)를 평가했습니다.
시사점, 한계점
•
시사점:
◦
LLM은 동적인 다중 턴 과제에서 자신의 믿음을 정확하게 자가 평가하거나 업데이트하는 능력이 부족함을 보여줌.
◦
LLM이 과도한 자신감을 가지며, 논쟁이 진행될수록 자신감이 증가하는 경향이 있음.
◦
LLM의 사고 과정이 공개적인 자신감 평가와 일치하지 않는 경우가 있음.
◦
LLM의 과도한 자신감은 어시스턴트나 에이전트 역할로 배치될 때 심각한 문제를 야기할 수 있음.
