Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Fluido pero insensible: Los puntos ciegos emocionales de los modelos lingüísticos

Created by
  • Haebom

Autor

Bangzhao Shu, Isha Joshi, Melissa Karnaze, Anh C. Pham, Ishita Kakkar, Sindhu Kothe, Arpine Hovasapian, Mai ElSherief

Describir

Este artículo explora las capacidades de reconocimiento de sentimientos de los modelos lingüísticos a gran escala (LLM). A diferencia de estudios previos que categorizan los sentimientos en un conjunto limitado de categorías, presentamos un nuevo conjunto de datos de referencia, EXPRESS, que consta de 251 etiquetas de sentimiento autoinformadas de granularidad fina, recopiladas de la comunidad de Reddit. Evaluamos sistemáticamente varios LLM en diversas situaciones y demostramos su dificultad para predecir con precisión sentimientos consistentes con los autoinformes humanos. El análisis cualitativo revela que, si bien algunos LLM generan términos de sentimiento consistentes con la teoría y las definiciones de las emociones existentes, no logran captar señales contextuales con la misma eficacia que los autoinformes humanos. Por lo tanto, este estudio destaca las limitaciones de los LLM en la consistencia de sentimientos de granularidad fina y proporciona perspectivas para futuras investigaciones destinadas a mejorar la comprensión contextual.

Takeaways, Limitations

Takeaways:
Presentamos un nuevo conjunto de datos de referencia (EXPRESS) para el reconocimiento de emociones de grano fino.
Una evaluación sistemática de la capacidad del LLM para predecir emociones de grano fino y sus limitaciones.
Sugerir direcciones de investigación para mejorar la capacidad de los estudiantes de LLM para comprender el contexto.
Limitations:
Generalización limitada de conjuntos de datos basados ​​en datos de Reddit.
La posibilidad de una precisión reducida debido a la subjetividad de las emociones autoinformadas
Dificultades para generalizar debido a limitaciones en los tipos y versiones de LLM utilizados en la evaluación.
👍