Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les modèles biaisés ont-ils des pensées biaisées ?

Created by
  • Haebom

Auteur

Swati Rajwal, Shivank Garg, Reem Abdel-Salam, Abdelrahman Zayed

Contour

Cet article examine la question de l'équité des modèles linguistiques à grande échelle (MLH) à l'aide de la technique de la chaîne de pensée, une technique qui suscite un intérêt croissant depuis peu. Nous analysons non seulement les résultats des LH, qui contiennent divers biais tels que le sexe, l'origine ethnique, le statut socio-économique, l'apparence et l'orientation sexuelle, mais aussi les processus de pensée internes du modèle (étapes de réflexion) à l'aide de la technique de la chaîne de pensée pour mesurer la présence et l'ampleur des biais. L'analyse quantitative de 11 biais dans cinq LH populaires n'a révélé aucune corrélation significative entre les biais des processus de pensée du modèle et ceux de son résultat final (coefficients de corrélation inférieurs à 0,6, valeur p < 0,001). Cela suggère que, contrairement aux humains, les modèles qui prennent des décisions biaisées ne présentent pas systématiquement des processus de pensée biaisés.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons une nouvelle approche pour analyser les processus de pensée internes des modèles en utilisant la technique d'incitation à la chaîne de pensée dans l'étude du biais LLM.
◦
En révélant une faible corrélation entre le biais de sortie du LLM et le biais du processus de pensée interne, nous offrons une nouvelle perspective sur les approches existantes de résolution des biais.
◦
En démontrant les différences dans les mécanismes de génération de biais entre les humains et les LLM, nous pouvons contribuer à développer de nouvelles stratégies pour résoudre le problème des biais dans les LLM.
•
Limitations:
◦
Les types de LLM utilisés dans l’analyse et les types de biais peuvent être limités.
◦
Il est nécessaire de vérifier que le processus de pensée révélé par l’incitation à la chaîne de pensée reflète parfaitement le fonctionnement interne du modèle réel.
◦
Une faible corrélation ne signifie pas nécessairement aucune causalité, c’est pourquoi des recherches supplémentaires sont nécessaires sur la relation entre le biais de sortie et le biais du processus de pensée.
◦
Une analyse plus approfondie est nécessaire pour déterminer si les corrélations inférieures à 0,6 sont si faibles qu’elles sont négligeables.
👍
Made with Slashpage