Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Fluent but Unfeeling: The Emotional Blind Spots of Language Models

Created by
  • Haebom

作者

Bangzhao Shu, Isha Joshi, Melissa Karnaze, Anh C. Pham, Ishita Kakkar, Sindhu Kothe, Arpine Hovasapian, Mai ElSherief

概要

本論文は大規模言語モデル(LLM)の感情認識能力に関する研究であり、既存の研究が制限的なカテゴリに感情を分類するのとは異なり、Redditコミュニティから収集された251個の細分化された自己報告感情ラベルからなるEXPRESSという新しいベンチマークデータセットを提示します。さまざまなプロンプト設定の下で複数のLLMを体系的に評価し、人間の自己報告感情と一致する感情を正確に予測することが困難であることを示しています。定性的分析により、一部のLLMは既存の感情理論と定義に一致する感情用語を生成しますが、文脈的な手がかりを人間の自己報告ほど効果的に捉えることができない場合があることを明らかにします。したがって、この研究は、細分化された感情の整合性に対するLLMの限界を強調し、文脈の理解を向上させるための将来の研究への洞察を提供します。

Takeaways、Limitations

Takeaways:
きめ細かい感情認識のための新しいベンチマークデータセット(EXPRESS)の提示
LLMの細分化された感情予測能力の体系的評価と限界の提示
LLMの文脈理解能力を向上させるための研究方向の提示
Limitations:
Redditデータに基づくデータセットの一般化可能性の制限
自己報告感情の主観性による精度低下の可能性
評価に使用されるLLMの種類とバージョンの制限による一般化の難しさ
👍