Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ToM-SSI : Évaluation de la théorie de l'esprit dans les interactions sociales situées

Created by
  • Haebom

Auteur

Matteo Bortoletto, Constantin Ruhdorfer, Andreas Bulling

Contour

Les benchmarks existants en théorie de l'esprit (ToM) s'appuient sur des variantes du test de Sally-Anne, offrant une perspective très limitée sur la ToM et négligeant la complexité des interactions sociales humaines. Dans cet article, nous proposons un nouveau benchmark, ToM-SSI, spécialement conçu pour tester les capacités de la ToM dans des environnements riches en interactions sociales et en dynamiques spatiales. Alors que les benchmarks ToM existants se limitent aux interactions textuelles ou dyadiques, ToM-SSI est multimodal et englobe les interactions de groupe jusqu'à quatre agents évoluant dans un environnement contextuel et interactif. Cette conception unique nous permet d'explorer pour la première fois un contexte mixte de coopération et d'interférence et une inférence parallèle sur les états mentaux de plusieurs agents, capturant ainsi un spectre de cognition sociale plus large que les benchmarks existants. Notre évaluation révèle que les performances du modèle actuel restent très limitées, notamment sur ces nouvelles tâches, ce qui met en évidence d'importantes lacunes pour les recherches futures.

Takeaways, Limitations

Takeaways: En présentant le ToM-SSI, une nouvelle référence pour évaluer les capacités de la théorie de l'esprit dans des environnements riches en interactions sociales et en dynamiques spatiales, nous surmontons les limites des références existantes et permettons des recherches plus complètes sur la théorie de l'esprit. Ce test permet d'évaluer un large éventail de capacités cognitives sociales, notamment les interactions coopératives et perturbatrices entre jusqu'à quatre agents.
Limitations: L'analyse comparative ToM-SSI a révélé que les performances du modèle actuel sont encore très limitées. Cela laisse entrevoir d'importants axes d'amélioration pour les recherches futures. De plus, ToM-SSI pourrait ne pas refléter pleinement la complexité des interactions sociales humaines réelles.
👍