Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models
Created by
Haebom
저자
Bang Zhang, Ruotian Ma, Qingxuan Jiang, Peisong Wang, Jiaqi Chen, Zheng Xie, Xingyu Chen, Yue Wang, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li
개요
본 논문은 대규모 언어 모델(LLM)의 인간에 대한 이해 수준을 평가하는 새로운 자동화된 평가 프레임워크인 SAGE(Sentient Agent as a Judge)를 제안합니다. SAGE는 인간과 유사한 감정 변화와 내적 사고를 시뮬레이션하는 Sentient Agent를 사용하여 다회차 대화에서 모델을 더 현실적으로 평가합니다. Agent는 매 회차마다 감정 변화, 감정 상태, 응답 방식을 추론하여 숫자로 표현되는 감정 변화 경로와 해석 가능한 내적 사고를 생성합니다. 100개의 지지적 대화 시나리오에 대한 실험 결과, 최종 Sentient 감정 점수는 Barrett-Lennard Relationship Inventory (BLRI) 평가 및 발화 수준 공감 척도와 강한 상관관계를 보여 심리적 타당성을 검증했습니다. 또한 18개의 상용 및 오픈소스 모델을 포함하는 공개 Sentient 리더보드를 구축하여 최첨단 시스템(GPT-4o-Latest, Gemini2.5-Pro)과 이전 기준 모델 간의 상당한 성능 차이(최대 4배)를 발견하였으며, 이는 기존 리더보드(예: Arena)에는 반영되지 않았습니다. 따라서 SAGE는 진정으로 공감적이고 사회적으로 능숙한 언어 에이전트를 향한 진전을 추적하기 위한 원칙적이고, 확장 가능하며, 해석 가능한 도구를 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM의 사회적 인지 능력을 측정하는 새로운 평가 프레임워크 SAGE 제시.
◦
기존 평가 방식의 한계를 극복하고 LLM의 공감 능력 평가 가능.
◦
LLM의 공감 능력 발전 추적을 위한 객관적이고 해석 가능한 지표 제공.
◦
최첨단 모델과 기존 모델 간 성능 차이를 명확하게 보여줌으로써 연구 방향 제시.
◦
공개 리더보드를 통해 모델 간 비교 및 성능 향상 위한 경쟁 유도.
•
한계점:
◦
SAGE가 시뮬레이션하는 Sentient Agent의 인간 감정 및 사고 표현의 완벽성 여부.
