Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mind Your Theory: Theory of Mind Goes Deeper Than Reasoning

Created by
  • Haebom

저자

Eitan Wagner, Nitay Alon, Joseph M. Barnby, Omri Abend

개요

본 논문은 대규모 언어 모델(LLM)의 Theory of Mind (ToM) 능력 평가에 대한 기존 연구들을 분석하고, 한계점을 지적하는 내용을 담고 있다. 기존 연구들은 ToM 과제를 수행하는 데 필요한 두 단계, 즉 1) ToM을 적용할지 여부 및 필요한 사고의 깊이(DoM) 결정, 그리고 2) DoM을 고려한 적절한 추론 적용 중, 주로 두 번째 단계에만 집중하고 있으며 이를 정적인 논리 문제로 다루는 경향이 있다고 주장한다. LLM 벤치마킹, ToM 추가 기능, ToM 탐색, ToM을 위한 형식 모델 등 다양한 AI 분야의 연구들을 검토하며 이러한 한계를 지적하고, 인지 과제에서 사용되는 동적인 환경에서 영감을 받은 ToM 능력 평가 개선 방안을 제시한다.

시사점, 한계점

시사점: LLM의 ToM 능력 평가에 있어 기존 연구의 한계를 명확히 제시하고, 동적인 환경을 고려한 새로운 평가 방식의 필요성을 강조함으로써 향후 연구 방향을 제시한다. ToM 과제의 두 단계(ToM 적용 여부 결정 및 추론 적용)를 명확히 구분하고, 기존 연구의 정적 논리 문제 중심 접근 방식의 문제점을 지적한다.
한계점: 본 논문은 position paper로서 구체적인 새로운 평가 방법론을 제시하지는 않는다. 단지 기존 연구의 한계를 지적하고 개선 방향을 제시하는 데 그친다. 동적인 환경을 고려한 평가 방식에 대한 구체적인 예시가 부족하다.
👍