본 논문은 오픈소스 대규모 언어 모델(LLM)의 지시사항 따르기 능력 향상을 위한 지도 미세 조정(SFT) 방법에서 발생하는 catastrophic forgetting 문제를 해결하는 새로운 방법을 제시합니다. 기존 SFT 데이터 접근 없이, 기본 모델의 지시 분포를 재구성하고 다중 모델 생성 및 필터링 파이프라인을 통해 고품질의 범용 데이터셋을 합성합니다. 이 합성 데이터셋을 새로운 도메인 특화 데이터와 혼합하여 미세 조정함으로써, 일반 도메인에서의 성능 저하 없이 특정 작업 성능을 향상시키는 것을 실험적으로 확인했습니다.
