Cet article étudie les capacités de « pensée douce » des modèles de langage à grande échelle (MLL) à l'aide de diverses techniques d'exploration. La pensée douce vise à générer des jetons doux pour faciliter l'inférence dans un espace conceptuel continu. Contrairement aux idées reçues, nous constatons que les LLM s'appuient principalement sur les composantes les plus influentes des entrées douces lors du décodage ultérieur, ce qui entrave l'exploration de divers chemins d'inférence. Pour surmonter cette limitation, nous introduisons de l'aléatoire grâce à des stratégies d'échantillonnage telles que le rééchantillonnage de Dirichlet et la technique de Gumbel-Softmax, visant à libérer le potentiel de la pensée douce. Les résultats expérimentaux montrent que la technique de Gumbel-Softmax surpasse la technique de Gumbel-Softmax sur huit tests d'inférence.
