Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models

작성자

Haebom

카테고리

Empty

저자

Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

💡 개요

본 논문은 비전-언어 모델(VLM)의 긴 시퀀스 토큰 처리 시 발생하는 높은 계산 및 메모리 부담 문제를 해결하기 위해 Singular Value Decomposition(SVD) 기반의 새로운 학습 없는 토큰 가지치기 방법론인 SVD-Prune을 제안합니다. 기존의 주의 점수 기반 방법론이 가지는 위치 편향 및 정보 분산 문제를 극복하고, 전체 분산에 가장 크게 기여하는 토큰만을 통계적 리버리지 점수를 활용하여 보존함으로써 효율성을 높였습니다. 실험 결과, SVD-Prune은 극도로 적은 시각 토큰 수(16개, 32개)에서도 기존 방법론을 능가하는 성능을 유지했습니다.

🔑 시사점 및 한계

•

향상된 효율성: SVD-Prune은 비전-언어 모델의 계산 및 메모리 효율성을 크게 향상시켜, 극도로 제한된 시각 토큰 예산 하에서도 높은 성능을 유지할 수 있습니다.

•

위치 편향 극복: 기존 주의 점수 기반 방법론의 단점이었던 위치 편향을 효과적으로 제거하여, 중요한 시각 정보를 더욱 안정적으로 보존합니다.

•

추가 학습 불필요: 학습 없는(training-free) 방식으로 기존 모델에 쉽게 적용 가능한 플러그 앤 플레이(plug-and-play) 방식이라는 장점을 가집니다.

•

고차원 분산 정보 손실 가능성: SVD 분해 및 리버리지 점수 활용이 고차원적인 분산 정보를 완벽하게 포착하지 못할 가능성이 있으며, 이는 특정 복잡한 시각적 특징에 대한 성능 저하로 이어질 수 있습니다.

PDF 보기

Made with Slashpage