본 논문은 과학적 추론에 초점을 맞춘 대규모 오픈소스 데이터셋인 TextbookReasoning과 MegaScience를 제시합니다. TextbookReasoning은 12,000개의 대학 수준 과학 교과서에서 추출한 65만 개의 추론 질문과 정답으로 구성되며, MegaScience는 다양한 오픈소스 데이터셋을 통합하여 총 125만 개의 인스턴스를 포함합니다. 본 논문은 다양한 데이터 선택 방법론을 평가하는 체계적인 ablation study를 통해 각 공개 과학 데이터셋에 대한 최적의 하위 집합을 식별하고, 15개의 벤치마크를 포함하는 포괄적인 평가 시스템을 구축하여 정확한 평가 지표를 보장합니다. 실험 결과, 제시된 데이터셋은 기존 오픈소스 과학 데이터셋보다 우수한 성능과 훈련 효율을 달성하며, Llama3.1, Qwen2.5, Qwen3 시리즈 기본 모델을 MegaScience로 훈련시킨 결과, 해당 공식 instruction 모델보다 평균 성능이 크게 향상됨을 보여줍니다. 또한 MegaScience는 더 크고 강력한 모델에 대해 더 큰 효과를 나타내어 과학적 미세 조정에 대한 확장성 이점을 시사합니다. 본 논문에서는 데이터 큐레이션 파이프라인, 평가 시스템, 데이터셋 및 7개의 훈련된 모델을 공개하여 과학적 추론 연구 발전에 기여합니다.
