본 논문은 대규모 심층 신경망(DNN)의 분산 학습 속도를 높이기 위한 새로운 프레임워크인 PacTrain을 제안합니다. PacTrain은 신경망의 가지치기(pruning)와 희소(sparse) 기울기 압축을 결합하여 기울기 집계 오버헤드를 줄입니다. 가지치기를 통해 모델 가중치와 기울기를 희소하게 만들고, 분산 학습 노드 간에 기울기 희소성 정보를 공유하여 정확도 저하 없이 효율적인 압축 통신을 수행합니다. 실험 결과, PacTrain은 대표적인 비전 및 언어 모델 학습 작업에서 기존 최첨단 압축 기반 시스템에 비해 1.25배에서 8.72배까지 학습 처리량을 향상시키는 것으로 나타났습니다.
