Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Evaluación de la imparcialidad de los modelos lingüísticos de gran tamaño en los servicios de referencia de bibliotecas académicas

Created by
  • Haebom

Autor

Haining Wang, Jason Clark, Yueru Yan, Star Bradley, Ruiyang Chen, Yiqiong Zhang, Hengyi Fu, Zuoyu Tian

Describir

Este artículo evalúa si los modelos lingüísticos a gran escala (MLG) pueden servir equitativamente a todos los usuarios, independientemente de sus características demográficas o estatus social, en una biblioteca que utiliza servicios de referencia virtuales. Utilizando seis MML de vanguardia, evaluamos si estos discriminan en sus respuestas según la identidad del usuario, invitándolos a ayudarlos según su género, raza/etnia y rol institucional. No encontramos discriminación por raza o etnia, y solo un pequeño sesgo estereotipado hacia las mujeres en un modelo. Los MML muestran sutiles adaptaciones a los roles institucionales mediante elecciones lingüísticas relacionadas con la formalidad, la cortesía y el vocabulario específico del dominio, que reflejan normas profesionales en lugar de un trato discriminatorio.

Takeaways, Limitations

Takeaways: El Máster en Derecho (LLM) actual sugiere que el servicio de referencia de la biblioteca académica está razonablemente bien preparado para promover una comunicación justa y contextualizada. No se detectó discriminación por motivos de raza o etnia, y el sesgo de género fue mínimo. El LLM parece utilizar un lenguaje apropiado según su función institucional.
Limitations: El número limitado de modelos examinados (solo seis) y el hallazgo de cierto sesgo estereotipado contra las mujeres en ciertos modelos sugieren la necesidad de mayor investigación. Se requiere investigación adicional para evaluar de forma más amplia las respuestas de LLM a diversos tipos de preguntas o situaciones.
👍