본 논문은 다중 모달 대규모 언어 모델(MLLM)에서 시각 토큰의 길이가 텍스트 토큰보다 훨씬 길어 추론 비용이 높다는 문제를 해결하기 위해 새로운 시각 토큰 가지치기 방법인 CDPruner를 제안합니다. 기존의 어텐션 기반 또는 유사도 기반 가지치기 방법이 중복 토큰을 많이 유지하거나 지시어 관련성을 간과하는 한계를 극복하기 위해, CDPruner는 지시어를 조건으로 한 시각 토큰 간의 조건부 유사도를 정의하고, 결정론적 점 과정(DPP)을 이용하여 선택된 부분 집합의 조건부 다양성을 극대화합니다. 훈련이 필요 없고 모델에 독립적이며, 다양한 MLLM에 쉽게 적용 가능합니다. 실험 결과, 다양한 비전-언어 벤치마크에서 최첨단 성능을 달성했으며, LLaVA에 적용 시 FLOPs를 95%, CUDA 지연 시간을 78% 감소시키면서 정확도는 94%를 유지했습니다.
