본 논문은 멀티모달 대규모 언어 모델(MLLM)의 긴 문맥 처리 능력을 향상시키는 데 중점을 두고 있습니다. 이는 비디오 이해 및 고해상도 이미지 분석 발전에 중요합니다. 이를 위해 모델 아키텍처, 데이터 구성 및 훈련 전략에 대한 체계적인 개선이 필요하며, 특히 이미지 수 증가에 따른 성능 저하 및 높은 계산 비용과 같은 문제를 해결하는 데 초점을 맞춥니다. 본 논문에서는 Mamba와 Transformer 블록을 통합한 하이브리드 아키텍처를 제안하고, 시간적 및 공간적 의존성을 모두 포착하는 데이터 구성 방법을 제시하며, 점진적 훈련 전략을 사용합니다. 제시된 모델인 LongLLaVA는 효율성과 성능 간의 효과적인 균형을 보여주며, 다양한 벤치마크에서 경쟁력 있는 결과를 달성하면서 높은 처리량과 낮은 메모리 소비량을 유지합니다. 특히 단일 A100 80GB GPU에서 거의 1000개의 이미지를 처리할 수 있다는 점이 특징입니다.
시사점, 한계점
•
시사점:
◦
MLLM의 긴 문맥 처리 능력 향상을 위한 효과적인 하이브리드 아키텍처, 데이터 구성 방법 및 훈련 전략 제시.
◦
LongLLaVA 모델은 높은 처리량과 낮은 메모리 소비량을 유지하면서 경쟁력 있는 성능을 달성.
◦
단일 GPU에서 많은 수의 이미지 처리 가능성을 보여줌으로써 다양한 멀티모달 응용 분야에 대한 잠재력 제시.
