본 논문은 LLaVA 아키텍처의 한계점을 극복하기 위해, LLM을 언어 모델뿐만 아니라 강력한 시각 인코더로 활용하는 LLaViT (Large Language Models as extended Vision Transformers)를 제시합니다. LLaViT는 시각 모달리티를 위한 별도의 QKV 투영 학습, 시각 토큰에 대한 양방향 어텐션, 전역 및 지역 시각 표현 통합을 통해 LLM을 확장하여 시각-언어 모델링을 개선합니다. 다양한 LLM에 대한 광범위한 실험을 통해 LLaViT가 LLaVA를 능가하며, 더 큰 파라미터 수를 가진 모델보다 성능이 우수함을 입증합니다.
