When Large Vision-Language Model Meets Large Remote Sensing Imagery: Coarse-to-Fine Text-Guided Token Pruning
Created by
Haebom
Category
Empty
저자
Junwei Luo, Yingying Zhang, Xue Yang, Kang Wu, Qi Zhu, Lei Liang, Jingdong Chen, Yansheng Li
개요
본 논문은 거대 원격 감지 이미지(RSI)에 대한 효율적인 시각-언어 이해를 위한 새로운 방법을 제안합니다. 기존의 거대 시각-언어 모델(LVLMs)은 이미지 처리에 제한적인 미리 정의된 그리드를 사용하여 정보 손실을 초래하는 반면, 무제한 그리드 사용은 계산 비용을 크게 증가시킵니다. 이를 해결하기 위해, 본 논문은 동적 이미지 피라미드(DIP) 통합을 활용한 텍스트-유도 토큰 가지치기 방법을 제안합니다. 이는 영역 집중 모듈(RFM)을 통해 텍스트 기반 영역 위치 확인으로 중요한 시각 토큰을 식별하고, RFM 출력에 따라 DIP 기반의 상향식 이미지 타일 선택 및 시각 토큰 가지치기 전략을 사용하여 전체 이미지를 직접 처리하지 않고 계산 복잡도를 줄입니다. 또한, 기존의 LVLMs 성능 평가 벤치마크의 한계를 극복하기 위해, 이미지 길이 최대 27,328 픽셀에 달하는 8개 카테고리에 걸쳐 7,333개의 질의응답 쌍을 포함하는 새로운 벤치마크 LRS-VQA를 구축했습니다. 제안된 방법은 동일한 데이터를 사용하는 네 개의 데이터셋에서 기존 고해상도 전략보다 우수한 성능을 보이며, 고해상도 설정에서 기존 토큰 감소 방법보다 높은 효율성을 입증합니다. 소스 코드와 데이터셋은 https://github.com/VisionXLab/LRS-VQA 에서 제공됩니다.
