Cet article propose le cadre de la chaîne de pensées associées (CoAT), qui remplace l'approche « fast thinking » des LLM traditionnels par une approche « slow thinking » plus proche des processus de pensée humaine. CoAT élargit considérablement l'espace d'exploration des LLM en combinant l'algorithme de recherche arborescente de Monte-Carlo (MCTS) avec un nouveau mécanisme d'intégration d'informations clés appelé « mémoire associative ». S'appuyant sur les capacités d'exploration structurelle de MCTS et les capacités d'apprentissage adaptatif de la mémoire associative, CoAT explore de multiples chemins d'inférence et met à jour dynamiquement la base de connaissances en temps réel. Cela lui permet de revoir et d'améliorer les inférences précédentes et d'intégrer de manière adaptative l'évolution des informations pour produire des résultats finaux précis et complets. Nous obtenons des gains de performance de plus de 10 % (jeux de données open source) et de plus de 15 % (jeux de données CRB) sur des jeux de données d'inférence multi-étapes open source tels que HotpotQA et MuSiQue, ainsi que sur notre propre jeu de données CRB.
