Este documento presenta un nuevo marco de preentrenamiento continuo , MachineLearningLM , para abordar el desafío de los modelos de lenguaje a gran escala (LLM) que aprenden de una gran cantidad de ejemplos contextuales en tareas tradicionales de aprendizaje automático (ML) . MachineLearningLM preentrena los LLM utilizando tareas de ML generadas a partir de millones de modelos causales estructurados (SCM). Específicamente, utiliza bosques aleatorios para infundir estrategias de toma de decisiones basadas en árboles en los LLM, lo que mejora la robustez del modelado numérico. También utiliza indicaciones eficientes en tokens para aumentar la cantidad de ejemplos por ventana de contexto en un factor de 3 a 6 y mejora el rendimiento hasta 50 veces mediante inferencia por lotes. A pesar de su pequeña configuración basada en Qwen-2.5-7B-Instruct, supera los modelos de línea base robustos de LLM existentes en un promedio del 15% en la clasificación de datos tabulares fuera de distribución en varios dominios (finanzas, física, biología y medicina), lo que demuestra un aumento monótono en la precisión a medida que aumenta la cantidad de ejemplos contextuales. Además, consigue un rendimiento del 75,4% en MMLU, manteniendo la competencia conversacional general.
