Fluent but Unfeeling: The Emotional Blind Spots of Language Models
Created by
Haebom
저자
Bangzhao Shu, Isha Joshi, Melissa Karnaze, Anh C. Pham, Ishita Kakkar, Sindhu Kothe, Arpine Hovasapian, Mai ElSherief
개요
본 논문은 대규모 언어 모델(LLM)의 정서 인식 능력에 대한 연구로, 기존 연구들이 제한적인 범주로 정서를 분류하는 것과 달리, Reddit 커뮤니티에서 수집한 251개의 세분화된 자기 보고 정서 레이블로 구성된 EXPRESS라는 새로운 벤치마크 데이터셋을 제시합니다. 다양한 프롬프트 설정 하에서 여러 LLM을 체계적으로 평가하여, 인간의 자기 보고 정서와 일치하는 정서를 정확하게 예측하는 데 어려움이 있음을 보여줍니다. 정성적 분석을 통해 일부 LLM이 기존 정서 이론 및 정의와 일치하는 정서 용어를 생성하지만, 맥락적 단서를 인간의 자기 보고만큼 효과적으로 포착하지 못하는 경우가 있음을 밝힙니다. 따라서 본 연구는 세분화된 정서 정합성에 대한 LLM의 한계를 강조하고, 맥락 이해력 향상을 위한 미래 연구에 대한 통찰력을 제공합니다.