본 논문은 대규모 시각-언어 모델(LVLM)의 계산 비용 문제를 해결하기 위해, 중복된 시각적 토큰을 효과적으로 제거하는 새로운 프레임워크인 FlowCut을 제안한다. 기존의 토큰 가지치기 방식이 단일 레이어의 어텐션 점수를 기반으로 하는 한계를 극복하기 위해, 정보 흐름(information flow)을 분석하여 토큰 간의 상호 작용과 레이어별 동적 중복성 발생을 파악한다. CLS 토큰을 정보 중계 역할로 활용하고, 레이어별 어텐션 집중 현상을 분석하여 중복 토큰 식별의 정확도를 높인다. FlowCut은 LLaVA-1.5-7B에서 88.9% 토큰 감소로 1.6% 성능 향상, LLaVA-NeXT-7B에서 94.4% 감소로 4.3% 성능 향상을 달성했으며, 사전 채움 단계에서 3.2배 속도 향상을 보였다.
