Beyond Right and Wrong: Evaluating Second-order Social Reasoning in Large Language Models
작성자
카테고리
Empty
저자
Sunny Rai, Jinyi Kuang, Reyhan Jamalova, Annie Lou, Cristina Bicchieri, Niyati Malhotra, Victor Hugo Orozco-Olvera, Ana Maria Munoz-Boudet, Lyle H Ungar, Sharath C Guntuku
💡 개요
본 연구는 LLM의 사회적 추론 능력을 평가하기 위해 기존의 1차적 사회 규범을 넘어 2차적 규범, 즉 메타규범(metanorms)에 대한 이해도를 측정하는 새로운 프레임워크를 제안합니다. 제안된 프레임워크는 규범 위반 시 가해자의 자기 조절과 관찰자의 타인 조절 예측을 포함하며, 인간의 감정적 반응과 행동적 대응을 분석합니다. 이를 위해 450개의 규범 위반 시나리오로 구성된 멀티 퍼스펙티브 데이터셋 NormReact를 구축하여 평가를 진행했습니다.
🔑 시사점 및 한계
•
LLM은 실제 인간보다 더 가혹한 사회적 세계를 묘사하는 경향이 있으며, 특히 사회적 거리가 멀어질수록 인간의 판단과의 일치가 저하됩니다.
•
AI 시스템이 규범 민감 도메인에서 사용될 때, 실제 사회적 규제에 존재하는 관용, 자제, 관계적 조정을 과소평가하고 처벌을 과대평가하는 왜곡된 그림을 제공할 위험이 있습니다.
•
본 연구는 2차적 사회적 추론 평가를 위한 새로운 방향을 제시하지만, 다양한 문화적 맥락과 복잡한 사회적 상호작용을 포괄하는 더 광범위한 데이터셋 및 평가 방법론 개발이 필요합니다.