Decouple Searching from Training: Scaling Data Mixing via Model Merging for Large Language Model Pre-training

작성자

Haebom

카테고리

Empty

저자

Shengrui Li, Fei Zhao, Kaiyan Zhao, Jieying Ye, Haifeng Liu, Fangcheng Shi, Zheyong Xie, Yao Hu, Shaosheng Cao

💡 개요

LLM 사전 학습에서 효과적인 데이터 혼합 비율을 찾는 것은 어렵고 비용이 많이 드는 문제였습니다. 본 논문에서는 모델 병합을 활용하여 데이터 혼합 비율 탐색을 학습 과정에서 분리하는 DeMix 프레임워크를 제안합니다. 이를 통해 막대한 학습 비용 없이 최적의 데이터 혼합을 탐색하고, 더 높은 성능을 더 낮은 비용으로 달성할 수 있습니다.

🔑 시사점 및 한계

•

DeMix는 모델 병합을 통해 학습 과정과 데이터 혼합 비율 탐색을 분리함으로써, 비용 효율적으로 최적의 데이터 혼합을 발견할 수 있는 새로운 패러다임을 제시합니다.

•

본 연구는 LLM 사전 학습 시 데이터 혼합 비율 결정의 어려움을 해결하고, 성능과 효율성 간의 트레이드오프를 개선할 수 있는 실질적인 방법을 제공합니다.

•

DeMix의 효과는 검증되었지만, 모델 병합 기법 자체의 복잡성과 병합된 모델이 실제 학습된 모델과 얼마나 정확하게 일치하는지에 대한 추가적인 분석이 필요할 수 있습니다.

PDF 보기

Made with Slashpage