The Essence of Contextual Understanding in Theory of Mind: A Study on Question Answering with Story Characters
Created by
Haebom
저자
Chulun Zhou, Qiujing Wang, Mo Yu, Xiaoqian Yue, Rui Lu, Jiangnan Li, Yifan Zhou, Shunchi Zhang, Jie Zhou, Wai Lam
개요
본 논문은 기존 ToM(Theory of Mind) 평가 벤치마크의 한계를 지적하며, 인간의 ToM 능력이 타인의 배경 및 삶의 이야기와 같은 광범위한 맥락적 이해에 크게 의존한다는 점을 강조합니다. 이를 확인하고 최신 LLMs의 ToM 능력을 평가하기 위해, 고전 소설 등장인물을 기반으로 한 1,035개의 ToM 질문으로 구성된 CharToM 벤치마크를 제시합니다. 인간 참가자 연구를 통해 소설을 읽은 참가자와 읽지 않은 참가자 간의 성능 차이가 크게 나타났으며, 최신 LLMs(o1, DeepSeek-R1 포함) 역시 인간보다 훨씬 낮은 성능을 보임을 실험적으로 확인했습니다. 이는 LLMs가 ToM 추론에 필요한 뉘앙스 있는 맥락 정보를 제대로 포착하지 못한다는 한계를 보여줍니다.
시사점, 한계점
•
시사점:
◦
ToM 평가에 있어 맥락적 이해, 특히 인물의 배경 정보의 중요성을 강조합니다.
◦
기존 ToM 벤치마크의 한계를 지적하고, 더욱 현실적이고 복잡한 상황을 반영하는 새로운 벤치마크(CharToM)를 제시합니다.
◦
최신 LLMs의 ToM 능력에 대한 현실적인 평가를 제공합니다. LLMs의 ToM 능력 향상을 위한 연구 방향을 제시합니다.
•
한계점:
◦
CharToM 벤치마크가 고전 소설에 기반하여 만들어졌으므로, 현실 세계의 다양한 상황을 완벽히 반영하지 못할 수 있습니다.
