Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Rethinking Theory of Mind Benchmarks for LLMs: Towards A User-Centered Perspective

Created by
  • Haebom

저자

Qiaosi Wang, Xuhui Zhou, Maarten Sap, Jodi Forlizzi, Hong Shen

개요

본 논문은 대규모 언어 모델(LLM)의 사회적 지능을 평가하기 위해 인간의 Theory-of-Mind(ToM) 과제를 활용하는 최근 연구 동향을 비판적으로 검토한다. 기존의 ToM 과제 자체의 이론적, 방법론적, 평가적 한계점들을 지적하고, 이러한 한계점들이 LLM 평가에 적용될 때 더욱 심화되는 문제점을 제시한다. 인간-컴퓨터 상호작용(HCI) 관점에서, LLM과의 상호작용에서 사용자의 선호도, 필요, 경험을 고려하는 보다 역동적이고 상호작용적인 ToM 정의 및 평가 기준을 재고할 것을 제안하며, 이러한 방향으로 나아가는 데 있어 잠재적 기회와 과제를 제시한다.

시사점, 한계점

시사점: LLM의 ToM 능력 평가를 위한 새로운 접근 방식의 필요성을 강조하며, 사용자 중심적이고 상호작용적인 평가 기준의 중요성을 제시한다. HCI 관점을 도입하여 LLM 평가의 한계를 극복할 수 있는 새로운 가능성을 모색한다.
한계점: 기존 ToM 과제의 한계점을 LLM 평가에 적용했을 때 발생하는 문제점을 상세히 분석하지 못한다. 제시된 새로운 평가 기준에 대한 구체적인 방법론적 제안이 부족하다. 새로운 평가 기준을 실제로 적용했을 때의 실용성 및 타당성에 대한 논의가 부족하다.
👍