본 논문은 비전-언어 지시 조정 모델의 대규모 3D 병렬 학습에서 발생하는 불균형적인 계산 부하 문제를 해결하는 새로운 방법을 제시합니다. 비전 및 언어 부분의 이질적인 데이터 분포와 모델 아키텍처로 인해 발생하는 계산 부하 불균형을 해결하기 위해 데이터, 모델, 메모리 세 가지 관점에서 계산 부하를 재균형하는 '옴니버스 균형 학습 프레임워크'를 제안합니다. 데이터 관점에서는 장치 내부 및 장치 간에 균형 잡힌 미니 배치를 생성하고, 모델 관점에서는 탐색 기반 방법을 사용하여 더욱 균형 잡힌 분할을 달성하며, 메모리 관점에서는 각 분할에 대해 재계산 전략을 적응적으로 조정하여 사용 가능한 메모리를 최대한 활용합니다. InternVL-Chat의 오픈소스 학습 코드와 비교하여 약 1.8배의 속도 향상을 달성하였으며, 다양한 모델과 데이터셋에서 효과와 일반화 성능을 검증하였습니다. 소스 코드는 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
대규모 3D 병렬 학습 환경에서 비전-언어 모델 학습의 효율성을 크게 향상시킬 수 있음을 보여줍니다.
◦
데이터, 모델, 메모리 세 가지 관점에서 균형 잡힌 학습 프레임워크를 제시하여 일반적인 문제 해결에 기여합니다.
◦
약 1.8배의 속도 향상을 통해 학습 시간 단축 및 비용 절감 효과를 기대할 수 있습니다.
◦
다양한 모델과 데이터셋에 적용 가능한 일반화된 방법론을 제시합니다.
•
한계점:
◦
제시된 방법의 효과는 특정 모델과 데이터셋에 대한 실험 결과에 기반하며, 다른 환경에서는 성능이 달라질 수 있습니다.
◦
탐색 기반 모델 분할 방법의 계산 비용 및 최적화 수준에 대한 추가적인 분석이 필요할 수 있습니다.
