Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Vers une compréhension des habitudes cognitives des grands modèles de raisonnement
Created by
Haebom
Auteur
Jianshuo Dong, Yujia Fu, Chuanrui Hu, Chao Zhang, Han Qiu
Contour
Cet article présente une méthode d'interprétation et de suivi du comportement d'un modèle de raisonnement à grande échelle (MRL) en exploitant sa façon autonome de générer une chaîne de pensées (CdP) puis une réponse finale. Nous étudions si les MRL présentent des habitudes cognitives de type humain, sachant que certains schémas de CdP (par exemple, « Attendez, ai-je raté quelque chose ? ») apparaissent systématiquement dans diverses tâches. En nous appuyant sur les Habitudes d'Esprit, un cadre bien établi d'habitudes cognitives associées à la résolution efficace de problèmes humains, nous proposons CogTest, un référentiel basé sur des principes conçu pour évaluer les habitudes cognitives des MRL. CogTest contient 16 habitudes cognitives, chacune implémentée dans 25 tâches différentes, et utilise l'extraction de données probantes pour garantir une identification fiable des habitudes. Grâce à CogTest, nous effectuons une évaluation complète de 16 MRL largement utilisés (13 MRL et 3 modèles de non-inférence). Nos résultats montrent que, contrairement aux LLM existants, les LRM présentent non seulement des habitudes similaires à celles des humains, mais les utilisent également de manière adaptative dans différentes tâches. Une analyse détaillée révèle des similitudes et des différences dans le profil d'habitudes cognitives des LRM, en particulier entre des familles spécifiques (par exemple, le modèle Qwen-3 et DeepSeek-R1). En étendant l'étude aux tâches liées à la sécurité, nous observons que certaines habitudes, comme la prise de risque responsable, sont fortement associées à la génération de réactions néfastes. Ces résultats suggèrent que l'étude des schémas comportementaux persistants dans le CdT des LRM constitue une étape précieuse vers une compréhension plus approfondie du dysfonctionnement des LLM. Le code est disponible à l' adresse https://github.com/jianshuod/CogTest .
Nous démontrons que LRM présente des habitudes cognitives similaires à celles des humains et les utilise de manière adaptative en fonction de la tâche.
◦
Nous avons trouvé des similitudes entre des séries spécifiques dans les profils d’habitudes cognitives des LRM.
◦
Contribue à la compréhension du dysfonctionnement du LLM en constatant que des habitudes spécifiques (par exemple, la prise de risques responsables) sont associées à la génération de réponses néfastes.
◦
Nous fournissons une base pour évaluer les habitudes cognitives des LLM en introduisant un nouveau critère de référence appelé CogTest.
•
Limitations:
◦
ÉTant donné que le CogTest comprend 16 habitudes cognitives et 25 tâches, des habitudes et des tâches supplémentaires peuvent être nécessaires pour une évaluation complète.
◦
ÉTant donné le nombre et les types limités de LLM actuellement évalués, des recherches supplémentaires sur des modèles plus diversifiés sont nécessaires.
◦
Des recherches supplémentaires sont nécessaires sur la correspondance précise entre les habitudes cognitives humaines et les habitudes cognitives LRM.
◦
Il peut y avoir un manque de clarté concernant la définition et les critères permettant de juger une « réponse nuisible ».
