Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Attention à l’écart entre valeur et action : les LLM agissent-ils en accord avec leurs valeurs ?

Created by
  • Haebom

Auteur

Hua Shen, Nicholas Clark, Tanushree Mitra

Contour

Cet article aborde les limites des recherches existantes en matière d'évaluation de l'alignement des valeurs des modèles linguistiques à grande échelle (MLH) et propose ValueActionLens, un nouveau cadre d'évaluation qui prend en compte l'« écart valeur-action ». S'appuyant sur un ensemble de données de 14 800 actions fondées sur des valeurs issues de 12 cultures et de 11 thèmes sociaux, ValueActionLens évalue l'alignement entre les valeurs déclarées et les actions fondées sur des valeurs des LH à l'aide de trois indicateurs. Les résultats expérimentaux démontrent que l'alignement entre les valeurs déclarées et les actions des LH est sous-optimal et varie considérablement selon les contextes et les modèles. De plus, nous identifions les risques potentiels causés par les écarts valeur-action et démontrons l'efficacité de l'utilisation d'explications inférentielles pour prédire ces écarts. En conclusion, nous soulignons les dangers de se fier uniquement aux valeurs déclarées pour prédire le comportement des LH et soulignons l'importance d'une évaluation contextuelle des valeurs des LH et des écarts valeur-action.

Takeaways, Limitations

•
Takeaways:
◦
Cela démontre les limites de la simple prise en compte des valeurs déclarées dans l’évaluation de l’alignement des valeurs des LLM.
◦
Présentation de ValueActionLens, un nouveau cadre d’évaluation qui prend en compte le phénomène d’écart entre valeur et action.
◦
Identifier les dommages potentiels causés par l’écart entre la valeur et l’action dans le LLM et chercher des moyens de l’atténuer.
◦
Suggérant la possibilité d’améliorer les performances de prédiction des écarts entre valeurs et comportements en utilisant des explications inférentielles.
◦
Soulignez l’importance d’une évaluation contextuelle du LLM.
•
Limitations:
◦
Des recherches supplémentaires sont nécessaires pour explorer la généralisabilité du cadre ValueActionLens.
◦
D’autres expériences sont nécessaires sur différents modèles LLM et dans un éventail plus large de situations.
◦
Des recherches supplémentaires sont nécessaires pour déterminer les causes exactes de l’écart entre valeurs et comportements et pour trouver des solutions.
◦
L’ensemble de données doit être examiné pour détecter les biais culturels et l’objectivité de la sélection des sujets sociaux.
👍
Made with Slashpage