Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

¿Los entienden? Una evaluación actualizada sobre el manejo de pronombres no binarios en modelos lingüísticos extensos.

Created by
  • Haebom

Autor

Xushuo Tang, Yi Ding, Zhengyi Yang, Yin Chen, Yongrui Gu, Wenke Yang, Mingchen Ju, Xin Cao, Yongfei Liu, Wenjie Zhang

Describir

Este artículo presenta MISGENDERED+, un modelo de referencia ampliado para evaluar la imparcialidad e inclusión del uso de pronombres de género neutro y emergentes en modelos lingüísticos a gran escala (LLM). Superando las limitaciones del modelo MISGENDERED existente, evaluamos cinco LLM representativos (GPT-4o, Claude 4, DeepSeek-V3, Qwen Turbo y Qwen2.5) en diversos entornos, incluyendo cero disparos, pocos disparos e inferencia de identidad de género. Los resultados de la evaluación demuestran una mayor precisión para pronombres binarios y de género neutro en comparación con estudios previos, pero presentan inconsistencias en tareas de inferencia con pronombres emergentes e inversa. Esto resalta la necesidad de seguir mejorando las capacidades de inferencia con perspectiva de género.

Takeaways, Limitations

Takeaways:
Presentamos el punto de referencia MISGENDERED+, que supera las limitaciones de los puntos de referencia existentes.
Confirmada la capacidad mejorada para manejar pronombres binarios y de género neutro en el último LLM.
Sugerir direcciones de investigación para mejorar la capacidad de razonamiento considerando la identidad sexual.
Limitations:
Falta de precisión en tareas de nuevos pronombres e inferencia inversa.
La necesidad de una mejora continua en las capacidades de razonamiento que tengan en cuenta la identidad de género.
👍