본 논문은 대규모 멀티모달 모델(LMM) 훈련 시 발생하는 파이프라인 단계 불균형 및 데이터 동적 특성 문제를 해결하기 위한 효율적인 훈련 프레임워크인 DIP를 제안합니다. DIP는 다양한 모달리티의 연산을 별도의 파이프라인 세그먼트로 분리하고, 입력 데이터를 모달리티별 서브 마이크로 배치로 동적으로 분할하여 훈련 효율성을 높입니다. 이를 통해 기존 최첨단 시스템 대비 최대 97.3% 향상된 처리량을 달성하며, 멀티모달 훈련 워크로드의 변동성에 강한 적응력을 보여줍니다.
🔑 시사점 및 한계
•
LMM 훈련의 고질적인 문제인 파이프라인 단계 불균형과 데이터 동적 특성을 효과적으로 해결하는 실용적인 프레임워크를 제시합니다.
•
모달리티별 연산 분리와 동적 데이터 분할 기법을 통해 훈련 효율성을 크게 향상시킬 수 있음을 실험적으로 입증합니다.
•
제시된 DIP 프레임워크는 다양한 크기와 종류의 LMM 훈련에 적용 가능함을 보여주어 범용성을 갖습니다.
•
향후 연구에서는 더 복잡한 모달리티 간 상호작용을 고려하거나, 하드웨어 자원의 동적 할당을 최적화하는 방안을 탐색할 수 있습니다.
