본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상에 관한 연구로, 기존 연구들이 잘 정의된 문제에 초점을 맞춘 것과 달리, 실제 세계에서처럼 정보가 부족한 상황에서 LLM이 문제를 해결하는 능력을 평가하는 새로운 벤치마크인 QuestBench를 제시합니다. QuestBench는 하나의 변수만 누락된 제약 만족 문제(CSP)로 공식화되며, Logic-Q, Planning-Q, GSM-Q, GSME-Q 네 가지 유형의 과제를 포함합니다. LLM은 제시된 옵션 중에서 필요한 질문을 선택하는 과제를 수행하며, 논문에서는 최첨단 모델들이 GSM-Q와 GSME-Q에서는 높은 정확도를 보이지만, Logic-Q와 Planning-Q에서는 40-50%의 정확도만을 보이는 것을 확인하고, 잘 정의된 문제 해결 능력이 부족한 정보 상황에서의 문제 해결 능력과는 상관관계가 없음을 보여줍니다. 특히 Planning-Q 도메인에서 LLM은 불확실성을 표현하는 옵션이 주어져도 회피하는 경향을 보이는 점을 지적하며, 모델의 정보 획득 능력에 대한 심층적인 연구의 필요성을 강조합니다.
