Cet article présente des recherches démontrant le potentiel des modèles de langage à grande échelle (MLL) pour s'étendre au-delà du langage naturel à d'autres domaines symboliques tels que le code et les mathématiques. Nous nous intéressons plus particulièrement à la manière dont les LLM représentent des concepts musicaux, génèrent des données musicales symboliques à partir d'invites textuelles (une combinaison de genres et de styles) et évaluent leur utilité par des tâches de reconnaissance et de génération. Nous créons un ensemble de données de fichiers MIDI générés par les LLM sans apprentissage musical explicite, entraînons un réseau neuronal sur cet ensemble de données et comparons ses performances à celles des modèles existants en effectuant des tâches de classification des genres et des styles et de complétion mélodique. Nos résultats montrent que les LLM peuvent déduire des structures musicales de base et des relations temporelles à partir du texte, mais révèlent également des limites dues à l'absence de contexte musical explicite. Par conséquent, nous apportons un éclairage sur les capacités de génération de musique symbolique des LLM.