본 논문은 비동기적 명령 제공자/명령 수행자 형식을 따르는 과제 중심 대화에서 대규모 언어 모델(LLM)의 질문 능력을 조사합니다. Minecraft 대화 말뭉치의 두 가지 기존 주석(참조 및 모호성, SDRT 포함 설명)을 단일 공통 형식으로 통합하여 설명 및 모호성과의 관계를 실험하는 데 필요한 정보를 제공하는 새로운 말뭉치를 제시합니다. 이 말뭉치를 사용하여 LLM의 행동과 원래 사람이 생성한 질문을 비교하여 모호성이 있을 때 사람과 LLM이 어떻게 행동하는지 조사합니다. 모호성과 사람이 질문을 생성하는 것 사이에는 약한 연관성만 있고, 사람과 LLM 간의 상관관계는 낮다는 것을 발견했습니다. 사람들은 참조 모호성에 대해서는 질문을 거의 하지 않지만, 과제 기반 불확실성에 대해서는 자주 질문합니다. 반대로, LLM은 참조 모호성에 대해 더 많은 질문을 생성하지만, 과제 불확실성에 대해서는 더 적게 생성합니다. LLM의 질문 능력이 최근 추론 시뮬레이션 능력에 기반하는지 여부를 질문하고, 다양한 추론 접근 방식을 사용하여 이를 테스트하여 추론이 질문의 빈도와 관련성을 높이는 것으로 나타났습니다.
