Cet article se concentre sur l'analyse au niveau des phrases afin d'aborder la question de l'interprétabilité du raisonnement long dans les modèles linguistiques à grande échelle (MLH). Pour comprendre les processus de raisonnement des MLH, nous proposons trois méthodes d'attribution complémentaires : premièrement, une méthode de la boîte noire qui mesure l'importance contrefactuelle de chaque phrase ; deuxièmement, une méthode de la boîte blanche qui agrège les schémas d'attention entre les phrases afin d'identifier les têtes d'attention « diffusées » et « réceptrices » ; et troisièmement, une méthode d'attribution causale qui supprime l'attention sur une phrase et mesure son influence sur les autres phrases. Ces trois méthodes révèlent l'existence d'« ancres de pensée » qui exercent une influence excessive sur le processus de raisonnement, démontrant que ces ancres sont principalement des phrases incitant à la réflexion ou réflexives. Enfin, nous fournissons un outil open source permettant de visualiser les ancres de pensée et présentons une étude de cas démontrant la cohérence des résultats obtenus dans des processus d'inférence à plusieurs étapes.
