# Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models

### 저자

Bang Zhang, Ruotian Ma, Qingxuan Jiang, Peisong Wang, Jiaqi Chen, Zheng Xie, Xingyu Chen, Yue Wang, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li

### 개요

본 논문은 대규모 언어 모델(LLM)의 인간에 대한 이해 수준을 평가하는 새로운 자동화된 평가 프레임워크인 SAGE(Sentient Agent as a Judge)를 제안합니다. SAGE는 인간과 유사한 감정 변화와 내적 사고를 시뮬레이션하는 Sentient Agent를 사용하여 다회차 대화에서 모델을 더 현실적으로 평가합니다.  Agent는 매 회차마다 감정 변화, 감정 상태, 응답 방식을 추론하여 숫자로 표현되는 감정 변화 경로와 해석 가능한 내적 사고를 생성합니다. 100개의 지지적 대화 시나리오에 대한 실험 결과, 최종 Sentient 감정 점수는 Barrett-Lennard Relationship Inventory (BLRI) 평가 및 발화 수준 공감 척도와 강한 상관관계를 보여 심리적 타당성을 검증했습니다. 또한 18개의 상용 및 오픈소스 모델을 포함하는 공개 Sentient 리더보드를 구축하여 최첨단 시스템(GPT-4o-Latest, Gemini2.5-Pro)과 이전 기준 모델 간의 상당한 성능 차이(최대 4배)를 발견하였으며, 이는 기존 리더보드(예: Arena)에는 반영되지 않았습니다. 따라서 SAGE는 진정으로 공감적이고 사회적으로 능숙한 언어 에이전트를 향한 진전을 추적하기 위한 원칙적이고, 확장 가능하며, 해석 가능한 도구를 제공합니다.

### 시사점, 한계점

- **시사점:**

    - LLM의 사회적 인지 능력을 측정하는 새로운 평가 프레임워크 SAGE 제시.

    - 기존 평가 방식의 한계를 극복하고 LLM의 공감 능력 평가 가능.

    - LLM의 공감 능력 발전 추적을 위한 객관적이고 해석 가능한 지표 제공.

    - 최첨단 모델과 기존 모델 간 성능 차이를 명확하게 보여줌으로써 연구 방향 제시.

    - 공개 리더보드를 통해 모델 간 비교 및 성능 향상 위한 경쟁 유도.

- **한계점:**

    - SAGE가 시뮬레이션하는 Sentient Agent의 인간 감정 및 사고 표현의 완벽성 여부.

    - 100개의 지지적 대화 시나리오만 사용한 제한된 데이터셋.

    - 다양한 유형의 대화에 대한 일반화 가능성 검증 필요.

    - BLRI와 같은 기존 척도와의 상관관계 분석에 대한 추가적인 검토 필요.

[PDF 보기](https://arxiv.org/pdf/2505.02847)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).