Scaling Laws of Synthetic Data for Language Models
Created by
Haebom
저자
Zeyu Qin, Qingxiu Dong, Xingxing Zhang, Li Dong, Xiaolong Huang, Ziyi Yang, Mahmoud Khademi, Dongdong Zhang, Hany Hassan Awadalla, Yi R. Fung, Weizhu Chen, Minhao Cheng, Furu Wei
개요
본 논문은 대규모 언어 모델(LLM)의 사전 훈련에 사용되는 웹 데이터의 고갈 문제를 해결하기 위해, 확장 가능한 합성 데이터 생성 프레임워크인 SynthLLM을 제시합니다. SynthLLM은 그래프 알고리즘을 이용하여 기존의 사전 훈련 말뭉치에서 고차원 개념을 추출하고 재결합하여 다양하고 고품질의 합성 데이터셋을 생성합니다. 광범위한 실험을 통해 SynthLLM이 다양한 모델 크기에 걸쳐 수정된 확장 법칙을 충실히 따르는 합성 데이터를 생성하고, 성능 향상이 약 300B 토큰 부근에서 정체되며, 더 큰 모델은 더 적은 훈련 토큰으로 최적 성능에 도달함을 보여줍니다 (예: 8B 모델은 1T 토큰에서 최고 성능, 3B 모델은 4T 토큰 필요). 기존 합성 데이터 생성 및 증강 방법과의 비교를 통해 SynthLLM이 우수한 성능과 확장성을 달성함을 입증합니다. 결론적으로, SynthLLM은 유기적 사전 훈련 말뭉치에 대한 확장 가능하고 신뢰할 수 있는 대안으로, 모델 성능 향상을 위한 실행 가능한 방법을 제시합니다.
시사점, 한계점
•
시사점:
◦
웹 데이터 고갈 문제에 대한 효과적인 해결책으로 합성 데이터 생성의 가능성을 제시.
◦
SynthLLM은 기존 방법보다 우수한 성능과 확장성을 제공하는 합성 데이터 생성 프레임워크.
