Este artículo propone Time-RA (Razonamiento de Series Temporales para Anomalías), una novedosa tarea que aprovecha los modelos de lenguaje a gran escala (LLM) para transformar la detección de anomalías de series temporales en una tarea generativa e inferencial. Para superar las limitaciones de los métodos existentes de detección de anomalías de series temporales basados en la clasificación binaria, presentamos el conjunto de datos de referencia multimodal RATs40K, que contiene aproximadamente 40.000 datos del mundo real. RATs40K consta de datos numéricos de series temporales, texto contextual y representaciones visuales, cada una anotada con tipos de anomalías detallados (14 univariados y 6 multivariados) y razonamiento explicativo estructurado. Desarrollamos un sofisticado marco de anotación que aprovecha las etiquetas generadas por conjuntos, refinadas mediante retroalimentación basada en GPT-4, para garantizar la precisión y la interpretabilidad. Una exhaustiva evaluación comparativa de LLM y LLM multimodales demuestra las capacidades y limitaciones de los modelos actuales y destaca la importancia del ajuste fino supervisado. El código y los conjuntos de datos proporcionados están disponibles para respaldar y acelerar la investigación futura.