LLaVA-MORE는 다양한 비주얼 백본과 최신 언어 모델을 통합한 새로운 다중 모달 대규모 언어 모델(MMLM) 계열입니다. 기존 연구들이 주로 모델 크기를 확장하는 데 집중한 것과 달리, 본 논문은 모델 크기, 아키텍처, 성능 간의 상충 관계를 체계적으로 분석합니다. 통일된 훈련 프로토콜을 사용하여 Phi-4, LLaMA-3.1, Gemma-2 등 소규모 및 중규모 LLM을 비롯한 다양한 아키텍처에 대한 공정한 비교를 수행합니다. CLIP 기반 아키텍처부터 DINOv2, SigLIP, SigLIP2와 같은 대안까지 다양한 비주얼 인코더를 포괄적으로 연구하고, 이미지 해상도 증가 및 사전 훈련 데이터셋 변화의 영향도 조사합니다. 다중 모달 추론, 생성, 지시 사항 따르기 능력을 평가하여 효과적인 MLLM 설계에 대한 통찰력을 제공하며, 재현 가능한 평가 프레임워크를 통해 향후 모델 개발을 위한 지침을 제시합니다. 소스 코드와 훈련된 모델은 공개적으로 제공됩니다.
