WLB-LLM: Workload-Balanced 4D Parallelism for Large Language Model Training
Created by
Haebom
Category
Empty
저자
Zheng Wang, Anna Cai, Xinfeng Xie, Zaifeng Pan, Yue Guan, Weiwei Chu, Jie Wang, Shikai Li, Jianyu Huang, Chris Cai, Yuchen Hao, Yufei Ding
개요
본 논문은 대규모 언어 모델(LLM) 훈련을 위한 작업 부하 균형 4D 병렬 처리 기법인 WLB-LLM을 제시합니다. 파이프라인 병렬 처리 및 컨텍스트 병렬 처리에서 발생하는 작업 부하 불균형 문제를 분석하고, 이를 해결하기 위해 파이프라인 병렬 처리 수준에서는 작업 부하를 고려한 가변 길이 문서 패킹 방법을, 컨텍스트 병렬 처리 수준에서는 새로운 세분화된 문서 단위 분할 전략을 제안합니다. 다양한 모델 규모에 대한 실험 결과, WLB-LLM이 4D 병렬 처리 LLM 훈련 중 작업 부하 불균형을 크게 완화하고 평균 1.23배의 속도 향상을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 훈련에서의 작업 부하 불균형 문제를 효과적으로 해결하는 새로운 방법 제시
◦
파이프라인 및 컨텍스트 병렬 처리 수준에서의 작업 부하 균형 향상을 통한 훈련 속도 개선
◦
4D 병렬 처리 환경에서의 LLM 훈련 효율성 증대
•
한계점:
◦
제안된 방법의 성능은 내부 LLM 훈련 프레임워크에 종속적일 수 있음. 다른 프레임워크에서의 일반화 가능성에 대한 추가 연구 필요.
◦
실험은 특정 모델 규모와 데이터셋에 국한되어 있으므로, 다양한 환경에서의 일반화 가능성 검증 필요.
◦
가변 길이 문서 패킹 및 세분화된 문서 단위 분할 전략의 복잡성에 대한 추가적인 분석 필요.
