Este artículo investiga las capacidades de "pensamiento suave" de los modelos de lenguaje a gran escala (LLM) mediante diversas técnicas de exploración. El pensamiento suave busca generar tokens suaves para facilitar la inferencia dentro de un espacio conceptual continuo. Contrariamente a la creencia popular, observamos que los LLM se basan principalmente en los componentes más influyentes de las entradas suaves durante la decodificación posterior, lo que dificulta la exploración de diversas rutas de inferencia. Para superar esta limitación, introducimos aleatoriedad mediante estrategias de muestreo como el remuestreo de Dirichlet y la técnica Gumbel-Softmax, con el objetivo de liberar el potencial del pensamiento suave. Los resultados experimentales muestran que la técnica Gumbel-Softmax supera a la técnica Gumbel-Softmax en ocho parámetros de inferencia.
