When Large Vision-Language Model Meets Large Remote Sensing Imagery: Coarse-to-Fine Text-Guided Token Pruning
Created by
Haebom
저자
Junwei Luo, Yingying Zhang, Xue Yang, Kang Wu, Qi Zhu, Lei Liang, Jingdong Chen, Yansheng Li
개요
본 논문은 거대 원격 감지 이미지(RSI)에 대한 효율적인 시각-언어 이해를 위한 새로운 방법을 제시합니다. 기존의 거대 시각-언어 모델(LVLMs)은 이미지 처리에 제한적인 미리 정의된 그리드를 사용하여 기가픽셀 RSI 처리 시 정보 손실을 야기하는 한계를 가지고 있습니다. 이를 해결하기 위해, 본 논문에서는 동적 이미지 피라미드(DIP)를 통합한 텍스트 안내 토큰 가지치기 방법을 제안합니다. 이는 영역 집중 모듈(RFM)을 통해 텍스트 인식 영역 위치 파악 능력을 활용하여 중요한 시각 토큰을 식별하고, RFM 출력에 따라 거친 이미지 타일에서 세밀한 이미지 타일로 선택 및 시각 토큰 가지치기를 수행하여 전체 이미지를 직접 처리하지 않고 계산 복잡도를 줄입니다. 또한, 기존의 LVLMs 평가 벤치마크의 한계를 극복하기 위해 이미지 길이 최대 27,328 픽셀에 달하는 8개 카테고리, 7,333개의 QA 쌍을 포함하는 새로운 벤치마크 LRS-VQA를 구축했습니다. 제안된 방법은 동일한 데이터를 사용하는 네 개의 데이터셋에서 기존 고해상도 전략보다 우수한 성능을 보이며, 고해상도 설정에서 기존 토큰 감소 방법보다 높은 효율성을 입증합니다. 소스 코드와 데이터셋은 깃허브(https://github.com/VisionXLab/LRS-VQA)에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
거대 원격 감지 이미지에 대한 효율적인 시각-언어 이해를 위한 새로운 방법 제시.
◦
동적 이미지 피라미드(DIP)와 텍스트 안내 토큰 가지치기를 통한 계산 복잡도 감소 및 정보 손실 최소화.
◦
기존 벤치마크의 한계를 극복하는 새로운 고해상도 RSI 질의응답 벤치마크 LRS-VQA 구축.