본 논문은 대규모 비전-언어 모델(LVLM)의 추론 효율을 높이기 위한 새로운 시각 토큰 가지치기 방법인 CoViPAL을 제안합니다. LVLM은 이미지나 비디오에서 추출된 시각 토큰과 텍스트 토큰으로 구성된 다중 모달 입력을 처리하는데, 풍부한 시각 정보로 인해 많은 시각 토큰이 생성되어 높은 계산 비용과 메모리 오버헤드가 발생합니다. 기존의 가지치기 방법들은 과도한 시각 토큰을 제거하는 데 효과적이지만, 얕은 레이어에서는 문맥 정보 부족으로 어려움을 겪습니다. CoViPAL은 얕은 레이어에서도 효과적으로 불필요한 시각 토큰을 제거하기 위해 플러그 앤 플레이 가지치기 모듈(PPM)을 사용하여, LVLM이 시각 토큰을 처리하기 전에 중복된 토큰을 예측하고 제거합니다. PPM은 경량이며 모델과 독립적으로 작동하여 다양한 모델과의 원활한 통합을 보장합니다. 여러 벤치마크에 대한 실험 결과, CoViPAL은 동일한 토큰 예산 하에서 기존의 학습이 필요 없는 가지치기 방법들을 능가하고, 유사한 수준의 지도 학습을 사용하는 기존의 학습 기반 방법들보다 더 나은 성능을 보입니다.
