SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers

Created by

Haebom

저자

Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

💡 개요

본 연구는 언어 모델(LLM)의 사회 지능을 평가하기 위한 기존 환경의 한계를 극복하고자, 의사소통 장벽이 존재하는 실제와 유사한 환경에서 LLM의 상호작용 능력을 측정하는 "SocialVeil"을 제안합니다. semantic vagueness, sociocultural mismatch, emotional interference와 같은 세 가지 대표적인 의사소통 장애 유형을 시뮬레이션하고, unresolved confusion과 mutual understanding이라는 두 가지 새로운 평가 지표를 도입하여 LLM의 상호작용 품질을 평가합니다. 실험 결과, 의사소통 장벽은 LLM의 성능을 심각하게 저해하며, 적응 전략도 제한적인 효과만을 보이는 것으로 나타났습니다.

🔑 시사점 및 한계

•

LLM의 사회 지능을 평가하는 데 있어 현실적인 의사소통의 어려움을 반영하는 것이 중요함을 시사합니다.

•

SocialVeil은 의사소통 장벽이 LLM의 상호작용 능력에 미치는 영향을 정량적으로 분석할 수 있는 프레임워크를 제공합니다.

•

제안된 적응 전략이 의사소통 장벽 하에서 LLM의 성능을 크게 향상시키지 못한다는 점에서, LLM의 근본적인 사회 지능 개선 필요성을 제기합니다.

•

향후 과제로, 보다 복잡하고 동적인 의사소통 환경을 시뮬레이션하고, LLM이 이러한 환경에 더 효과적으로 적응할 수 있는 방법을 탐구할 필요가 있습니다.

PDF 보기

Made with Slashpage