Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Sortir du grand bourbier : l'engagement croissant dans les LLM

Created by
  • Haebom

Auteur

Emilio Barkett, Olivia Long, Paul Kroger

Contour

Alors que les modèles de langage à grande échelle (MLH) sont de plus en plus déployés dans des rôles décisionnels autonomes dans des domaines à enjeux élevés, cet article examine si les modèles entraînés sur des données générées par l'homme peuvent hériter de biais cognitifs (par exemple, le surinvestissement) qui faussent systématiquement le jugement humain. L'étude a examiné l'expression des biais LLM dans quatre conditions expérimentales : modèle investisseur, modèle conseiller, consultation multi-agents et scénarios de pression mixte utilisant une tâche d'investissement. Les résultats de 6 500 essais ont révélé que les biais LLM étaient fortement dépendants du contexte. Alors que les contextes de décision individuels présentaient une logique rationnelle coûts-avantages, les consultations multi-agents présentaient des effets hiérarchiques importants. Plus précisément, la prise de décision symétrique par les pairs a entraîné un surinvestissement dans presque tous les cas. De même, les taux de surinvestissement étaient élevés sous pression organisationnelle et individuelle. Ces résultats démontrent que les biais LLM ne sont pas inhérents, mais dépendent fortement du contexte social et organisationnel, fournissant des informations importantes pour le déploiement de systèmes multi-agents et d'opérations non supervisées où de telles conditions peuvent naturellement se produire.

Takeaways, Limitations

Takeaways:
La manifestation du biais cognitif (surinvestissement) dans le LLM dépend en grande partie du contexte social et organisationnel plutôt que des propriétés du modèle lui-même.
Il faut tenir compte du risque de biais dans les LLM qui peuvent apparaître dans les systèmes multi-agents et les environnements d’exploitation non supervisés.
Lors de l’application du LLM à la prise de décision à haut risque, une conception et une gestion qui prennent en compte les facteurs contextuels sont essentielles.
Une compréhension plus approfondie de la manière dont les facteurs sociaux tels que la hiérarchie et les pressions influencent la prise de décision en LLM est nécessaire.
Limitations:
Les environnements expérimentaux peuvent ne pas refléter pleinement les complexités du monde réel.
Cela peut être limité à certains types de LLM et à certains types de missions.
Des recherches supplémentaires sont nécessaires dans des contextes sociaux et organisationnels plus diversifiés.
Il existe un manque de méthodologies spécifiques pour atténuer les biais dans le LLM.
👍