본 논문은 추천 시스템에서 대규모 언어 모델(LLM)의 빠른 도입으로 인해 발생하는 계산 및 통신 병목 현상을 해결하기 위해 모델 병렬 및 데이터 병렬 두 가지 분산 학습 최적화 방법을 체계적으로 연구합니다. 모델 병렬의 경우 텐서 병렬 및 파이프라인 병렬을 구현하고 적응형 부하 분산 메커니즘을 도입하여 장치 간 통신 오버헤드를 줄였습니다. 데이터 병렬의 경우 동기 및 비동기 모드를 비교하고, 기울기 압축 및 희소화 기술을 효율적인 집계 통신 프레임워크와 결합하여 대역폭 활용도를 크게 향상시켰습니다. 실제 추천 데이터셋을 사용한 실험 결과, 제안된 하이브리드 병렬 방식은 기존 단일 모드 병렬 방식에 비해 학습 처리량을 30% 이상, 자원 활용률을 약 20% 향상시키는 동시에 강력한 확장성과 안정성을 유지함을 보여줍니다. 마지막으로, 온라인 배포에서 다양한 병렬 전략 간의 트레이드오프를 논의하고, 이종 하드웨어 통합 및 자동 스케줄링 기술을 포함한 향후 방향을 제시합니다.
