Este artículo analiza investigaciones que demuestran el potencial de los modelos de lenguaje a gran escala (LLM) para extenderse más allá del lenguaje natural a otros dominios simbólicos como el código y las matemáticas. En particular, nos centramos en cómo los LLM representan conceptos musicales, generan datos musicales simbólicos a partir de indicaciones textuales (una combinación de géneros y estilos) y evalúan su utilidad mediante tareas de reconocimiento y generación. Creamos un conjunto de datos de archivos MIDI generados por LLM sin entrenamiento musical explícito, entrenamos una red neuronal con este conjunto de datos y comparamos su rendimiento con modelos existentes mediante tareas de clasificación de género y estilo, y finalización de melodías. Nuestros resultados muestran que los LLM pueden inferir estructuras musicales básicas y relaciones temporales a partir del texto, pero también revelan limitaciones debido a la falta de contexto musical explícito. Como resultado, proporcionamos información sobre las capacidades de generación musical simbólica de los LLM.