본 논문은 대규모 언어 모델(LLM)을 특정 도메인에 적용하기 위한 합성 데이터 생성 방법인 MetaSynth를 제안합니다. MetaSynth는 메타 프롬프팅을 통해 여러 전문가 LLM 에이전트가 협업하여 다양한 합성 데이터를 생성합니다. 2,500만 토큰의 MetaSynth 합성 데이터를 사용하여 Mistral-7B-v0.3 LLM을 금융 및 생의학 도메인에 성공적으로 적용하였으며, 일반적인 작업에 대한 성능 저하 없이 특정 도메인 성능을 향상시켰습니다. 7가지 자동 평가 지표를 통해 MetaSynth의 합성 데이터가 LLM 사전 훈련 코퍼스의 다양성에 근접함을 확인하였습니다. 기존의 템플릿 프롬프트 방식과 비교하여 MetaSynth의 우수성을 입증하였으며, 소량의 다양한 합성 데이터만으로도 효과적인 도메인 적응이 가능함을 보여줍니다.
