본 논문은 수십억 개의 파라미터를 가진 대규모 모델의 분산 학습 및 추론을 최적화하는 새로운 프레임워크를 제안합니다. 기존의 분산 병렬화 전략(데이터, 모델, 시퀀스, 파이프라인 병렬화)은 복잡한 비선형 구조(예: Mixture-of-experts, 다중 모달 모델)에는 적용하기 어려운 한계가 있습니다. 본 논문에서는 혼합 정수 프로그래밍을 이용하여 병렬화 계획을 스케줄링 최적화 문제로 공식화하고, 이를 효율적으로 해결하는 2단계 솔루션 프레임워크를 제시합니다. 이 프레임워크는 최신 신경망의 이기종 구조와 하드웨어 제약 조건을 모두 고려하여 효과적인 분산 계획을 자동으로 생성합니다. 실험 결과, 전문가가 설계한 전략(DeepSeek's DualPipe)과 비교하여 동등하거나 우수한 성능을 달성하며, 동일한 메모리 제약 조건 하에서 계산 버블을 절반으로 줄였습니다. 또한 처리량 최적화뿐 아니라 하드웨어 활용 극대화, 메모리 용량 제약 등 다양한 요소를 고려할 수 있습니다.
