본 논문은 대규모 언어 모델(LLM)의 성능 향상에 있어서 사전 훈련 데이터의 선택이 중요함을 강조하며, 기존의 직관적이고 제한적인 방법론의 한계를 극복하기 위해 역발상적 접근법을 제시합니다. LLM이 스스로 성능 향상에 기여하는 기준을 식별하도록 유도하여 텍스트 퍼플렉서티 이상 현상의 원인으로부터 14가지 품질 기준과 15가지 응용 분야를 도출합니다. 이를 바탕으로 데이터 관리자(DataMan)를 훈련하여 447B 토큰의 사전 훈련 말뭉치에 14가지 품질 등급과 도메인 유형을 주석으로 달고, DataMan을 이용하여 선택된 30B 토큰으로 13억 매개변수의 언어 모델을 훈련합니다. 실험 결과, 상위 5등급의 데이터를 사용한 모델이 기존 최고 성능 모델보다 문맥 내 학습(ICL), 퍼플렉서티, 지시 사항 따르기 능력에서 상당한 개선을 보였으며, 균일 샘플링을 사용한 50% 더 많은 데이터로 훈련된 모델보다 성능이 우수함을 확인했습니다. 또한, DataMan에 의해 주석된 고품질 도메인 특정 데이터를 사용한 추가 사전 훈련을 통해 도메인 특정 ICL 성능을 향상시켜 DataMan의 도메인 믹싱 능력을 검증했습니다. 마지막으로, 사전 훈련 데이터셋의 구성, 품질 등급 분포, 원본 문서 출처 등에 대한 심층 분석을 수행했습니다.
