본 논문은 다중 모달 대규모 언어 모델(MLLM)에서 시각 정보의 처리 및 활용 방식에 대한 새로운 이해를 제시합니다. MLLM은 사전 훈련된 시각 인코더의 시각적 특징을 대규모 언어 모델(LLM)에 통합하여 시각-언어 작업의 성능을 향상시키지만, 시각 정보의 처리 과정은 불분명했습니다. 연구 결과, 시각 정보의 주된 흐름 변화를 발견했습니다. 얕은 계층에서는 이미지 토큰과 지시어 토큰 간의 강한 상호 작용이 관찰되어 대부분의 시각 정보가 지시어 토큰에 주입되어 교차 모달 의미 표현을 형성합니다. 깊은 계층에서는 이미지 토큰이 주로 서로 상호 작용하여 시각 모달 내에서 의미 표현을 최적화하기 위해 나머지 시각 정보를 집계합니다. 이러한 통찰력을 바탕으로 계층적 모달 인식 가지치기(HiMAP)라는 플러그 앤 플레이 추론 가속 방법을 제안하여 특정 계층에서 이미지 토큰을 동적으로 가지치고 성능 저하 없이 계산 비용을 약 65% 절감합니다.
