본 논문은 비전-언어 모델(VLMs)의 효율적인 배포를 위해 정보 이론적 프레임워크인 InfoPrune을 제안합니다. InfoPrune은 정보 병목 원리에 기반하여, 태스크 관련 의미를 유지하면서 중복된 의존성을 제거하는 방식으로 VLM의 구조적 압축을 수행합니다. 이를 위해 엔트로피 기반 유효 랭크(eRank)를 도입하여 각 어텐션 헤드의 기여도를 정량화하고, Kolmogorov-Smirnov (KS) 거리를 사용하여 원본 구조와 압축된 구조 간의 차이를 측정합니다. InfoPrune은 훈련 기반 헤드 프루닝과 훈련 없는 FFN 압축을 통해 최대 3.2배의 FLOP 감소와 1.8배의 가속을 달성하면서 성능 저하를 최소화합니다.
