Does Theory of Mind Improvement Really Benefit Human-AI Interactions? Empirical Findings from Interactive Evaluations

작성자

Haebom

카테고리

Empty

저자

Nanxu Gong, Zixin Chen, Haotian Li, Zishu Zhao, Jianxun Lian, Huamin Qu, Yanjie Fu, Xing Xie

💡 개요

본 연구는 대규모 언어 모델(LLM)의 심리 이론(ToM) 능력 향상이 인간-AI 상호작용(HAI)에 미치는 영향을 실증적으로 분석합니다. 기존 ToM 평가 방식이 주로 정적이고 3인칭적인 관점에 치우쳐 있어, 본 연구는 1인칭적이고 동적인 상호작용 평가의 새로운 패러다임을 제안하고 이를 통해 ToM 향상 기법의 실제 HAI 성능 기여도를 검증합니다. 결과적으로, 정적 벤치마크에서의 성능 향상이 동적인 HAI 환경에서 반드시 더 나은 결과로 이어지지는 않음을 보여주며, 차세대 사회적 AI 개발을 위한 상호작용 기반 평가의 중요성을 강조합니다.

🔑 시사점 및 한계

•

ToM 능력 향상이 반드시 실제 인간-AI 상호작용의 질적 개선으로 직결되지 않을 수 있음을 시사합니다.

•

기존의 정적이고 3인칭적인 ToM 평가 방식이 실제 HAI 시나리오를 충분히 반영하지 못한다는 점을 보여줍니다.

•

동적이고 1인칭적인 상호작용 기반 평가의 필요성을 강조하며, 사회적으로 인지하는 LLM 개발 방향에 대한 중요한 통찰을 제공합니다.

•

제안된 상호작용 기반 평가 패러다임이 아직 초기 단계이며, 실제 다양한 HAI 시나리오에 대한 추가적인 검증과 발전이 필요합니다.

PDF 보기

Made with Slashpage