Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ToM-SSI: Evaluating Theory of Mind in Situated Social Interactions

Created by
  • Haebom

저자

Matteo Bortoletto, Constantin Ruhdorfer, Andreas Bulling

개요

기존의 이론적 마음(Theory of Mind, ToM) 벤치마크는 Sally-Anne 테스트의 변형에 의존하여 ToM에 대한 매우 제한적인 관점만을 제공하고 인간의 사회적 상호 작용의 복잡성을 간과합니다. 본 논문에서는 사회적 상호 작용과 공간 역동성이 풍부한 환경에서 ToM 능력을 테스트하도록 특별히 설계된 새로운 벤치마크인 ToM-SSI를 제안합니다. 기존의 ToM 벤치마크가 텍스트 기반 또는 이원적 상호 작용으로 제한되는 반면, ToM-SSI는 다중 모드이며 최대 4명의 에이전트가 상호 작용하고 상황에 맞는 환경에서 이동하는 그룹 상호 작용을 포함합니다. 이러한 독특한 설계를 통해 혼합된 협력적-방해적 설정과 여러 에이전트의 정신 상태에 대한 병렬 추론을 처음으로 연구하여 기존 벤치마크보다 더 넓은 범위의 사회적 인지를 포착할 수 있습니다. 평가 결과, 현재 모델의 성능은 특히 이러한 새로운 작업에서 여전히 심각하게 제한되어 있으며, 향후 연구를 위한 중요한 격차를 강조합니다.

시사점, 한계점

시사점: 사회적 상호작용과 공간 역학을 고려한 다중 모드 ToM 벤치마크인 ToM-SSI를 제시하여 기존 벤치마크의 한계를 극복. 협력적-방해적 설정 및 다중 에이전트의 정신 상태 추론을 가능하게 함으로써 사회적 인지에 대한 더 넓은 이해 제공. 현재 모델의 ToM 능력에 대한 한계를 명확히 제시하여 향후 연구 방향 제시.
한계점: ToM-SSI가 제시하는 새로운 과제에 대한 현재 모델의 성능이 여전히 매우 제한적임. ToM-SSI 벤치마크 자체의 일반화 가능성 및 범용성에 대한 추가 연구 필요. 인간의 사회적 상호작용의 복잡성을 완전히 포괄하지 못할 가능성 존재.
👍