Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models

작성자

Haebom

카테고리

Empty

저자

Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

💡 개요

본 논문은 기존 비전-언어 모델(VLM)에서 발생하는 긴 비전 토큰 시퀀스 처리의 높은 계산 및 메모리 요구량을 해결하기 위한 새로운 토큰 가지치기 방법론인 SVD-Prune을 제안합니다. SVD-Prune은 특이값 분해(SVD)를 기반으로 통계적 레버리지 점수를 활용하여 전역 분산에 가장 많이 기여하는 토큰만을 보존하며, 기존 주의 점수 기반 방법의 위치 편향 문제를 극복합니다. 실험 결과, SVD-Prune은 극도로 적은 비전 토큰 수(32개, 16개)에서도 기존 방법론 대비 우수한 성능을 유지함을 입증했습니다.

🔑 시사점 및 한계

•

효율적인 VLM 모델 경량화 가능성 제시: SVD-Prune은 기존 주의 점수 기반 방법의 한계를 극복하고, 극단적인 토큰 예산에서도 VLM의 성능 저하를 최소화하는 효과적인 모델 경량화 방안을 제시합니다.

•

데이터 특성에 강건한 토큰 선택: 통계적 레버리지 점수를 활용하여 데이터의 전역적인 특징을 잘 포착하는 토큰을 선택함으로써, 위치 편향 없이 중요한 시각 정보를 보존할 수 있습니다.

•

다양한 VLM 아키텍처 및 태스크에 대한 일반화 가능성 검증 필요: 제안된 방법론이 특정 VLM 아키텍처나 태스크에만 국한되지 않고, 다양한 환경에서 효과적인지 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage