본 논문은 대규모 언어 모델(LLM)의 지시사항 준수 능력에 대한 불확실성 추정 능력을 최초로 체계적으로 평가한 연구입니다. 기존의 지시사항 준수 벤치마크의 한계를 지적하고, 여러 요인이 얽혀 있는 불확실성을 해소하기 위해 제어된 평가 환경과 두 가지 버전의 벤치마크 데이터를 도입했습니다. 연구 결과, 기존의 불확실성 추정 방법들은 특히 모델이 지시사항을 미묘하게 오류를 범할 때 어려움을 겪는다는 것을 보여주었습니다. 내부 모델 상태를 활용하는 방법이 어느 정도 개선을 보이지만, 복잡한 상황에서는 여전히 부족함을 드러냈습니다. 이 연구는 LLM의 한계와 지시사항 준수 과제에서의 불확실성 추정 잠재력에 대한 중요한 이해를 제공하여 더욱 신뢰할 수 있는 AI 에이전트 개발의 길을 열어줍니다.
