Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models
Created by
Haebom
저자
Bang Zhang, Ruotian Ma, Qingxuan Jiang, Peisong Wang, Jiaqi Chen, Zheng Xie, Xingyu Chen, Yue Wang, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li
개요
본 논문은 대규모 언어 모델(LLM)의 인간에 대한 이해 능력을 평가하는 새로운 자동화된 평가 프레임워크인 SAGE(Sentient Agent as a Judge)를 제안합니다. SAGE는 인간과 유사한 감정 변화와 내면의 생각을 시뮬레이션하는 Sentient Agent를 사용하여 다회차 대화에서 테스트 모델을 더 현실적으로 평가합니다. Agent는 매 회차마다 감정 변화, 느낌, 답변 방식을 추론하여 숫자화된 감정 궤적과 해석 가능한 내면의 생각을 생성합니다. 100개의 지지적 대화 시나리오에 대한 실험 결과, 최종 Sentient 감정 점수는 Barrett-Lennard Relationship Inventory (BLRI) 평가 및 발화 수준 공감 지표와 높은 상관관계를 보이며 심리적 신뢰성을 검증했습니다. 또한 18개의 상용 및 오픈소스 모델을 포함하는 공개 Sentient 리더보드를 구축하여 최첨단 시스템(GPT-4o-Latest, Gemini2.5-Pro)과 이전 기준 시스템 간에 상당한 차이(최대 4배)가 있음을 발견했으며, 이는 Arena와 같은 기존 리더보드에는 반영되지 않았습니다. 따라서 SAGE는 진정으로 공감하고 사회적으로 능숙한 언어 에이전트를 향한 진보를 추적하기 위한 원칙적이고, 확장 가능하며, 해석 가능한 도구를 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM의 공감 능력 및 사회적 지능 평가를 위한 새로운 평가 프레임워크 SAGE 제시
◦
기존 평가 방식의 한계를 극복하고, LLM의 심리적 신뢰성을 검증하는 지표 제공
◦
최첨단 LLM과 기존 모델 간 성능 차이를 명확히 보여주는 공개 리더보드 구축
◦
LLM의 공감 능력 향상을 위한 연구 방향 제시
•
한계점:
◦
Sentient Agent의 감정 및 사고 과정 시뮬레이션의 정확성 및 일반화 가능성에 대한 추가 검증 필요
◦
현재는 지지적 대화 시나리오에 국한되어 다양한 대화 유형에 대한 적용성 검토 필요
◦
BLRI 및 공감 지표와의 상관관계 분석 결과의 일반화 가능성에 대한 추가 연구 필요
◦
SAGE의 평가 결과가 실제 인간과의 상호작용 결과와 얼마나 일치하는지에 대한 추가 연구 필요
