Cet article évalue les capacités de raisonnement stratégique d'agents basés sur des modèles de langage à grande échelle (MLH), notamment dans des situations de théorie des jeux. Trois modèles d'agents – un modèle de théorie des jeux simple, un agent utilisant uniquement des LMH et un LMH intégré à un cadre d'agent conventionnel – sont évalués dans un jeu de devinettes et comparés à des participants humains. La généralisation au-delà de la distribution d'apprentissage est également évaluée à l'aide de scénarios de jeu obscurcis. En analysant plus de 2 000 échantillons d'inférence sur 25 configurations d'agents, nous démontrons que les modèles imitant l'architecture cognitive humaine peuvent améliorer la cohérence des agents LMH avec le comportement stratégique humain. Cependant, nous constatons que la relation entre la complexité de la conception de l'agent et la ressemblance humaine est non linéaire, dépendant fortement des performances du LMH sous-jacent et des limites de l'augmentation structurelle simple.
