Cet article étudie l'impact du biais du modèle linguistique sur les préférences de choix de réponse dans la tâche de compréhension du langage multitâche massive (MMLU). Les résultats montrent que le biais du modèle linguistique prédit les préférences du modèle et reflète les stratégies humaines de passation de tests, même en utilisant l'inférence CoT. Pour résoudre ce problème, les auteurs introduisent l'incitation contrefactuelle et l'incitation CoT indiscriminée (APriCoT). Si l'incitation contrefactuelle seule utilisant l'incitation CoT ne suffit pas à atténuer le biais, l'APriCoT réduit efficacement l'influence de la probabilité sous-jacente et améliore la précision globale. L'incitation CoT tend à renforcer le biais du modèle de pensée rapide sous certaines méthodes d'incitation, suggérant que la pensée lente est nécessaire pour atténuer le biais. L'APriCoT représente une étape vers le développement d'un modèle linguistique de « pensée lente » plus robuste et plus juste.
