본 논문은 대규모 언어 모델(LLM)의 컨텍스트 학습(ICL) 능력을 향상시키는 MachineLearningLM이라는 새로운 프레임워크를 제시합니다. MachineLearningLM은 수백만 개의 구조적 인과 모델(SCM)에서 생성된 다양한 기계 학습(ML) 작업을 사용하여 사전 훈련됩니다. 특히, 랜덤 포레스트 기반의 의사결정 전략을 LLM에 주입하여 수치 모델링의 강건성을 높이고, 토큰 효율적인 프롬프트를 통해 컨텍스트 창당 더 많은 예시를 처리하여 처리량을 향상시킵니다. 실험 결과, MachineLearningLM은 다양한 분야의 분포 외 표 데이터 분류 작업에서 기존 강력한 LLM 기준 모델보다 평균 15% 향상된 성능을 보였으며, 컨텍스트 내 예시의 수가 증가함에 따라 정확도가 단조 증가하는 현저한 다중 샷 스케일링 법칙을 보였습니다. 또한, 일반적인 채팅 기능, 지식 및 추론 능력도 유지했습니다.
