본 논문은 고해상도 이미지 처리 시 다수의 시각 토큰 생성 문제를 해결하기 위해, 입력 이미지와 지시어에 따라 시각적 세분성(granularity)을 적응적으로 선택하는 대규모 다중 모달 모델(LMM)인 AVG-LLaVA를 제안합니다. AVG-LLaVA는 다중 풀링 계층을 통해 다양한 세분성의 시각 토큰을 생성하고, Transformer, MLP, voter 계층으로 구성된 시각적 세분성 라우터를 이용하여 적절한 세분성을 선택합니다. 또한, 추가적인 수동 주석 데이터 없이 라우터의 예측과 LMM의 선호도를 정렬하는 새로운 훈련 방식인 RGLF를 제시합니다. 실험 결과, AVG-LLaVA는 11개의 벤치마크에서 우수한 성능을 달성하고, 시각 토큰 수를 크게 줄이며 추론 속도를 향상시키는 것으로 나타났습니다 (예: AI2D 벤치마크에서 시각 토큰 85.3% 감소, 추론 속도 2.53배 증가).
