Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Sesgo en la toma de decisiones para los dilemas éticos de la IA: un estudio comparativo de ChatGPT y Claude

Created by
  • Haebom

Autor

Yile Yan, Yuqi Zhu, Wentao Xu

Describir

Este estudio evalúa sistemáticamente las capacidades de toma de decisiones éticas y los posibles sesgos de nueve modelos lingüísticos a gran escala (LLM) populares. Evaluamos las preferencias éticas, la sensibilidad, la estabilidad y los patrones de agrupamiento de los modelos en 50.400 ensayos, que abarcan cuatro escenarios de dilemas éticos (protector vs. dañino) que involucran atributos protegidos, incluyendo combinaciones de un solo atributo y de atributos cruzados. Los resultados revelan sesgos significativos hacia los atributos protegidos en todos los modelos, con preferencias que varían según el tipo de modelo y los contextos de dilema. Específicamente, los LLM de código abierto muestran preferencias más fuertes por grupos marginados y mayor sensibilidad en escenarios dañinos, mientras que los modelos de código cerrado son más selectivos en escenarios protectores y tienden a favorecer a los grupos mayoritarios. Además, el comportamiento ético varía entre dilemas. Los LLM mantienen patrones consistentes en escenarios protectores, pero toman decisiones más diversas y cognitivamente exigentes en escenarios dañinos. Además, los modelos muestran sesgos éticos más pronunciados en entornos de atributos cruzados que en entornos de un solo atributo, lo que sugiere que las entradas complejas revelan sesgos más profundos. Estos resultados resaltan la necesidad de una evaluación multidimensional y consciente del contexto del comportamiento ético en los LLM, y sugieren una evaluación y un enfoque sistemáticos para comprender y abordar la imparcialidad en la toma de decisiones en los LLM.

Takeaways, Limitations

Takeaways:
Proporcionar un marco de evaluación sistemático para la toma de decisiones éticas en los LLM
Identificación de diferencias en el sesgo ético entre los programas de LLM de código abierto y los de código cerrado (los programas de código abierto muestran mayor preferencia por los grupos desfavorecidos)
Análisis de los cambios de comportamiento ético en estudiantes de LLM según el tipo de dilema y la combinación de atributos (el sesgo es más severo en las combinaciones entre atributos)
Instrucciones para mejorar la equidad de los LLM
Limitations:
Limitaciones de los escenarios de dilema utilizados en la evaluación
Limita la generalización de los resultados del análisis a modelos LLM específicos.
Falta de consideración de la subjetividad y diversidad de los juicios éticos
Se necesita más investigación para determinar la aplicabilidad en el mundo real.
👍