ACER (Automated Curriculum-Enhanced Regimen)은 일반적인 LLM의 전문 분야 성능 저하 문제를 해결하기 위해, 광범위한 능력을 유지하면서 특정 분야의 전문가로 변환하는 방법을 제시합니다. ACER은 교재 스타일의 커리큘럼을 생성하고, Bloom의 분류법에 따라 QA 쌍을 생성하여 체계적인 학습을 유도합니다. 이 합성 코퍼스를 사용하여 인터리빙 커리큘럼 스케줄로 지속적인 사전 훈련을 수행합니다. Llama 3.2 (1B 및 3B) 모델에 대한 실험 결과, 전문 분야 MMLU 서브셋에서 유의미한 성능 향상을 보였으며, 마이크로 경제학 등 어려운 분야에서 5% 포인트, 전체 목표 도메인에서 평균 3% 포인트의 정확도 향상을 달성했습니다. 또한, ACER은 재앙적 망각을 방지하고, 긍정적인 지식 전이를 촉진하여 비 목표 도메인의 성능을 0.7% 포인트 향상시켰습니다. ARC 및 GPQA와 같은 지식 집약적 벤치마크에서도 2% 이상의 절대 점수 향상을 보였으며, 일반적인 추론 작업에서도 안정적인 성능을 유지했습니다.
