CogToM: A Comprehensive Theory of Mind Benchmark inspired by Human Cognition for Large Language Models

Created by

Haebom

저자

Haibo Tong, Zeyang Yue, Feifei Zhao, Erliang Lin, Lu Jia, Ruolin Chen, Yinqian Sun, Qian Zhang, Yi Zeng

💡 개요

본 연구는 거대 언어 모델(LLM)의 인간과 유사한 심리 이론(Theory of Mind, ToM) 능력을 평가하기 위한 CogToM이라는 포괄적인 벤치마크를 제안합니다. 기존 벤치마크의 한계를 극복하기 위해 인간의 인지 메커니즘을 반영한 46가지 패러다임에 걸쳐 8000개 이상의 이중 언어 인스턴스로 구성되었습니다. 22개의 대표적인 LLM을 평가한 결과, 모델 간 성능 편차가 크고 특정 차원에서 지속적인 병목 현상이 나타났으며, 인간의 인지 패턴 분석을 통해 LLM과 인간의 인지 구조 간의 잠재적 차이가 시사되었습니다.

🔑 시사점 및 한계

•

CogToM은 LLM의 ToM 능력을 다각적으로 평가할 수 있는 새롭고 이론적으로 탄탄한 벤치마크를 제공합니다.

•

LLM의 ToM 성능이 모델 및 평가 패러다임에 따라 상당한 차이를 보이며, 인간의 인지 구조와는 다른 측면이 있음을 보여줍니다.

•

현재 벤치마크는 특정 유형의 ToM 능력에 초점을 맞추고 있으며, 인간 인지 메커니즘의 모든 측면을 완전히 포착하는 데는 한계가 있을 수 있습니다. 향후 LLM의 인지적 경계를 탐구하고 인간과의 차이점을 더 깊이 이해하기 위한 노력이 필요합니다.

PDF 보기

Made with Slashpage