본 논문은 대규모 사전 훈련 모델의 성능 향상을 위한 고품질 instruction 데이터셋 구축의 중요성을 강조하며, instruction 데이터셋의 'coverage' (작업 유형 및 지식 영역 범위)와 'depth' (instruction 복잡성) 확장의 한계를 지적합니다. 이를 해결하기 위해 계층적 레이블 시스템, 유익한 시드 선택 알고리즘, 진화적 데이터 합성 프로세스, 타겟 데이터 생성을 통한 모델 결함 진단을 통합한 체계적인 instruction 데이터 구축 프레임워크를 제안합니다. 이 프레임워크를 기반으로 약 150만 개의 instruction을 포함하는 고품질 데이터셋인 InfinityInstruct-Subject를 구축하고, 여러 기반 모델과 벤치마크 작업에서 instruction-following 능력 향상을 입증했습니다.
