본 논문은 대규모 시각 콘텐츠 생성 모델, 특히 비디오 생성 모델의 훈련에 대한 연구를 제시합니다. 텍스트-비디오 정렬, 긴 시퀀스, 복잡한 시공간 종속성으로 인한 어려움을 해결하기 위해 데이터 처리, 모델 아키텍처, 훈련 전략, 인프라를 최적화하는 훈련 프레임워크를 개발했습니다. 이 프레임워크를 통해 MUG-V 10B 모델을 구축했으며, 이는 최신 비디오 생성 모델과 성능을 경쟁하고, 특히 전자 상거래 관련 비디오 생성에서 우수한 성능을 보였습니다. 또한, 모델 가중치, Megatron-Core 기반 대규모 훈련 코드, 추론 파이프라인을 포함한 전체 스택을 오픈소스로 공개합니다.
