본 논문은 대규모 언어 모델의 새로운 목표 영역으로의 지속적인 사전 훈련에서 발생하는 catastrophic forgetting 문제를 해결하기 위해, 소규모 작업별 데이터에 대한 지속적인 사전 훈련 방법을 제시합니다. 기존의 도메인 가중치 재조정 전략은 인간의 직관이나 경험적 결과에 기반한 휴리스틱을 수동으로 지정하는 데 의존하는 반면, 본 논문에서는 Data Mixing Agent라는 최초의 모델 기반 엔드투엔드 프레임워크를 제안하여 더 일반적인 휴리스틱을 매개변수화할 수 있음을 증명합니다. Data Mixing Agent는 강화 학습을 통해 다량의 데이터 믹싱 경로와 평가 환경의 피드백을 이용하여 일반화 가능한 휴리스틱을 학습합니다. 수학 추론에 대한 지속적인 사전 훈련 실험에서 Data Mixing Agent는 소스 및 타겟 필드 벤치마크에서 균형 잡힌 성능을 달성하는 데 있어 강력한 기준 모델보다 우수한 성능을 보였습니다. 또한, 재훈련 없이도 보이지 않는 소스 필드, 타겟 모델 및 도메인 공간에서도 잘 일반화됩니다. 코드 생성 분야에 대한 직접적인 적용은 타겟 도메인에 대한 적응성을 보여줍니다. 추가 분석은 에이전트의 휴리스틱이 인간의 직관과 잘 정렬되어 있으며, 적은 소스 필드 데이터로 우수한 모델 성능을 달성하는 데 효율적임을 보여줍니다.
