본 논문은 대규모 언어 모델의 분산 학습 가속화를 위해 데이터, 텐서, 파이프라인 병렬 처리와 활성화 체크포인팅, 중복 제거, 오프로딩과 같은 메모리 최적화 기법들을 종합적으로 최적화하는 새로운 자동화된 분산 학습 시스템 Mist를 제안합니다. 기존 시스템의 한계점인 최적화 기법 간의 중복 인식 부족, 방대한 탐색 공간 탐색의 어려움, 마이크로 배치 간 불균형 무시 등을 해결하기 위해, Mist는 세 가지 핵심 아이디어, 즉 (1) 정교한 중복 중심 스케줄링, (2) 기호 기반 성능 분석, (3) 불균형 인식 계층적 튜닝을 기반으로 합니다. Mist는 메모리 사용량 감소 기법과 병렬 처리 기법을 포괄적으로 공동 최적화하며, 실험 결과 기존 최고 수준의 수동 시스템인 Megatron-LM과 자동 시스템인 Aceso에 비해 각각 평균 1.28배(최대 1.73배)와 1.27배(최대 2.04배)의 속도 향상을 달성했습니다.
