Este artículo diseña tareas algorítmicas mínimas que abstraen tareas abiertas del mundo real para medir cuantitativamente las limitaciones creativas de los modelos lingüísticos existentes. Estas tareas requieren pasos de planificación implícitos, abiertos y probabilísticos, ya sea descubriendo nuevas conexiones en un grafo de conocimiento abstracto (p. ej., juegos de palabras, analogías, investigación) o construyendo nuevos patrones (p. ej., problemas matemáticos o el diseño de nuevas proteínas). Argumentamos empírica y conceptualmente contra la miopía del aprendizaje de tokens y argumentamos que los enfoques multitoken, como el entrenamiento sin profesor y los modelos de difusión, son superiores en la generación de resultados diversos y originales. Además, encontramos que el condicionamiento de semillas, que inyecta ruido en la capa de entrada para inducir aleatoriedad sin comprometer la consistencia, es tan efectivo como el muestreo de temperatura en la capa de salida, y bajo ciertas condiciones, incluso superior. En conclusión, este estudio proporciona un entorno de prueba mínimo y basado en principios para analizar las capacidades creativas abiertas y ofrece nuevos argumentos más allá del aprendizaje de tokens y el muestreo de temperatura.
