본 논문은 대규모 언어 모델(LLM)이 기존 기계 학습(ML) 과제에서 많은 맥락 내 예시로부터 학습하는 데 어려움을 겪는다는 점을 지적하며, 이를 해결하기 위한 MachineLearningLM이라는 새로운 사전 학습 프레임워크를 제시합니다. MachineLearningLM은 수백만 개의 구조적 인과 모델(SCM)로부터 ML 과제를 생성하여 일반적인 LLM에 강력한 맥락 내 ML 기능을 부여합니다. 랜덤 포레스트 교사로부터 트리 기반 의사결정 전략을 증류하여 수치적 모델링의 강건성을 높이고, 토큰 효율적인 프롬프트를 사용하여 맥락 창당 예시 수를 3~6배 늘리고 배치 추론을 통해 처리량을 최대 50배 향상시킵니다. 결과적으로, 소규모 설정(Qwen-2.5-7B-Instruct with LoRA rank 8)에도 불구하고, 다양한 분야(금융, 물리, 생물학, 의료)의 분포 외 표 데이터 분류에서 기존 강력한 LLM 기준 모델(예: GPT-5-mini)보다 평균 약 15% 높은 성능을 보이며, 맥락 내 예시가 8개에서 1,024개로 증가함에 따라 정확도가 단조 증가하는 현저한 다중 샷 스케일링 법칙을 나타냅니다. 과제별 학습 없이도 수백 개의 샷에서 랜덤 포레스트 수준의 정확도를 달성하며, MMLU에서 75.4%의 성능으로 지식 및 추론을 포함한 일반적인 채팅 기능도 유지합니다.
