본 논문은 시각 언어 모델(LVLMs)의 계산 비용을 줄이기 위한 새로운 방법인 VisPruner를 제안합니다. 기존의 시각 토큰 가지치기 방법들이 텍스트-시각 어텐션 점수에 의존하는 것과 달리, VisPruner는 시각적 단서를 활용하여 더 효과적인 토큰 가지치기를 수행합니다. 먼저 시각적 어텐션을 사용하여 중요한 토큰을 선택하고, 이후 유사한 토큰들을 제거하여 다양성을 유지함으로써 입력 이미지의 시각 정보를 최대한 보존합니다. 실험 결과, VisPruner는 다양한 VLM 아키텍처와 감소 비율에서 기존 방법들을 능가하는 성능을 보였으며, LLaVA-1.5-7B의 FLOPs를 91%, 추론 지연 시간을 75%까지 줄이면서 성능을 유지했습니다.
시사점, 한계점
•
시사점:
◦
시각적 단서를 활용한 효과적인 시각 토큰 가지치기 방법 제시.
◦
텍스트-시각 어텐션 점수에 의존하지 않고, 시각 정보 보존에 초점.
◦
다양한 VLM 아키텍처와 감소 비율에서 우수한 성능.
◦
훈련 없이도 상당한 계산 비용 감소 효과 달성 (LLaVA-1.5-7B 기준 FLOPs 91%, 추론 지연 시간 75% 감소).
