DiLoCoX: A Low-Communication Large-Scale Training Framework for Decentralized Cluster
Created by
Haebom
저자
Ji Qi, WenPeng Zhu, Li Li, Ming Wu, YingJun Wu, Wu He, Xun Gao, Jason Zeng, Michael Heinrich
개요
본 논문은 1000억 파라미터를 초과하는 거대 언어 모델(LLM)의 분산 학습을 위한 저 통신량 분산 클러스터 훈련 프레임워크인 DiLoCoX를 제안합니다. DiLoCoX는 파이프라인 병렬 처리, 이중 최적화 정책, 통신 및 지역 훈련의 1단계 지연 중복, 적응형 경사도 압축 기법을 결합하여 모델 사전 훈련의 속도와 파라미터 규모를 크게 향상시킵니다. 1Gbps 네트워크에서 1070억 파라미터의 기반 모델 사전 훈련을 성공적으로 수행하여 기존 AllReduce 대비 357배의 속도 향상을 달성하면서 모델 수렴성 저하를 최소화함을 실험적으로 보여줍니다. 이는 1000억 파라미터 이상의 모델에 성공적으로 적용된 최초의 분산 학습 프레임워크입니다.
시사점, 한계점
•
시사점:
◦
1000억 파라미터 이상의 거대 언어 모델을 느린 네트워크 환경에서도 효율적으로 학습할 수 있는 가능성을 제시합니다.
◦
기존의 고속 상호연결 중심의 중앙 집중식 클러스터에 대한 의존성을 낮추고 분산 클러스터 활용을 확장합니다.
◦
저 통신량 분산 학습 프레임워크의 성능 향상을 위한 새로운 기술(파이프라인 병렬 처리, 이중 최적화 정책, 1단계 지연 중복, 적응형 경사도 압축)을 제시하고 그 효과를 실험적으로 검증합니다.
◦
1000억 파라미터 이상 모델의 분산 학습에 대한 새로운 가능성을 열었습니다.
•
한계점:
◦
제시된 방법론의 일반성 및 다양한 네트워크 환경 및 모델 크기에 대한 확장성에 대한 추가적인 연구가 필요합니다.
◦
1Gbps 네트워크 환경에서의 실험 결과는 다른 네트워크 환경에서도 동일한 성능을 보장하지 않을 수 있습니다.
◦
DiLoCoX의 구현 및 최적화에 대한 세부적인 정보가 부족할 수 있습니다. (논문에서 자세히 다루지 않은 부분일 수 있습니다.)
