본 논문은 새로운 콤브 유사 문제의 의사결정 이론에 대한 자연어 질문 데이터셋을 소개합니다. 새로운 콤브 유사 문제는 에이전트가 유사한 다른 에이전트와 상호 작용하고, 따라서 다른 에이전트가 유사한 방식으로 추론할 것이라는 사실을 고려해야 하는 의사결정 문제를 포함합니다. 기초 모델 기반 에이전트 간의 상호 작용은 종종 새로운 콤브 유사 문제가 되므로, 새로운 콤브 유사 문제에 대한 LLM 추론을 평가하는 것이 중요합니다. 새로운 콤브 유사 문제에 대한 추론 방식 중 일부는 모델 간의 더 큰 협력을 허용할 수 있습니다. 본 데이터셋에는 정답이 명확한 능력 질문과 의사결정 이론가들 사이에서 의견이 갈리는 태도 질문이 모두 포함되어 있습니다. 이 데이터셋을 사용하여 기존 모델(OpenAI, Anthropic, Meta, GDM, Reka 등의 다양한 모델)과 간단한 프롬프트 기반 개입을 받은 모델에서 의사결정 이론적 능력과 표현된 태도, 그리고 그 상호 작용을 조사합니다. 그 결과, 기존 모델 간에 태도가 크게 다르며, 높은 능력은 소위 증거적 의사결정 이론에 더 유리한 태도와 관련이 있으며, 태도는 다양한 유형의 질문에서 일관됨을 발견했습니다.
