Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les grands modèles linguistiques ne simulent pas la psychologie humaine

Created by
  • Haebom

Auteur

Sarah Schröder, Thekla Morgenroth, Ulrike Kuhl, Valérie Vaquet, Benjamin Paa{\ss}fr

Contour

Cet article examine de manière critique l'hypothèse selon laquelle les modèles de langage à grande échelle (MLH), tels que ChatGPT, pourraient remplacer les participants humains dans la recherche psychologique. Nous présentons un argument conceptuel en faveur de l'hypothèse selon laquelle les LMH simulent la psychologie humaine et étayons empiriquement cette hypothèse en démontrant les divergences entre les LMH et les réponses humaines basées sur des changements sémantiques. Plus précisément, nous démontrons que plusieurs LMH, dont le modèle CENTAUR optimisé pour les réponses psychologiques, réagissent différemment aux nouveaux items, soulignant ainsi leur manque de fiabilité. Par conséquent, nous concluons que, bien que les LMH soient des outils utiles, ils doivent être considérés comme des outils fondamentalement peu fiables, devant être validés par rapport aux réponses humaines dans toute nouvelle application.

Takeaways, Limitations

Takeaways: En démontrant empiriquement que les LLM ne simulent pas fidèlement la psychologie humaine, nous préconisons une approche prudente dans leur utilisation en recherche psychologique. Nous soulignons l'importance de valider les LLM avec des réponses humaines lors de leur application à la recherche psychologique.
Limitations: Cette étude présente des résultats basés sur un LLM spécifique et un ensemble de données limité. Par conséquent, la prudence est de mise avant de généraliser à d'autres LLM ou à des ensembles de données plus vastes. Compte tenu du rythme rapide de développement des LLM, des recherches supplémentaires sont nécessaires pour déterminer la validité à long terme des conclusions de cette étude.
👍