Este artículo revela que la causa fundamental del colapso modal, un fenómeno en el que la diversidad en LLM disminuye durante el proceso de alineación posterior al entrenamiento, no reside en limitaciones algorítmicas, sino en el sesgo de tipicidad dentro de los datos de preferencia. Los investigadores establecieron teóricamente este hallazgo y lo verificaron empíricamente en un conjunto de datos de preferencia. Con base en este análisis, proponen el Muestreo Verbalizado (VS), una estrategia de incitación simple y sin entrenamiento que evita el colapso modal. El VS incita al modelo a verbalizar la distribución de probabilidad sobre una serie de respuestas. A través de varios experimentos, demuestran que el VS mejora significativamente el rendimiento en varios dominios, incluyendo escritura creativa, simulación de conversaciones, respuesta a preguntas abiertas y generación de datos sintéticos, y particularmente aumenta significativamente la diversidad en el dominio de la escritura creativa. Además, encontraron que el efecto del VS tiende a ser mayor para los modelos de mejor rendimiento.
