Este artículo presenta un nuevo marco de trabajo, MachineLearningLM, que mejora las capacidades de aprendizaje sensible al contexto (ICL) de los modelos lingüísticos a gran escala (LLM). MachineLearningLM se preentrena utilizando diversas tareas de aprendizaje automático (ML) generadas a partir de millones de modelos causales estructurados (SCM). Específicamente, incorpora a LLM una estrategia de toma de decisiones basada en bosques aleatorios para mejorar la robustez del modelado numérico y mejora el rendimiento al procesar más ejemplos por ventana de contexto mediante indicaciones con un uso eficiente de tokens. Los resultados experimentales demuestran que MachineLearningLM supera a los modelos de referencia LLM robustos existentes en un promedio del 15% en tareas de clasificación de datos tabulares no distribuidos en diversos dominios, mostrando una notable ley de escalamiento multidisparo, con una precisión que aumenta monótonamente a medida que aumenta el número de ejemplos dentro del contexto. Además, mantiene la funcionalidad general de chat, el conocimiento y las capacidades de inferencia.
