When Large Vision-Language Model Meets Large Remote Sensing Imagery: Coarse-to-Fine Text-Guided Token Pruning
Created by
- Haebom
Category
Empty
저자
Junwei Luo, Yingying Zhang, Xue Yang, Kang Wu, Qi Zhu, Lei Liang, Jingdong Chen, Yansheng Li
개요
본 논문은 거대 원격 감지 이미지(RSI)에 대한 효율적인 시각-언어 이해를 위한 새로운 방법을 제시합니다. 기존의 거대 시각-언어 모델(LVLMs)은 이미지 처리에 제한적인 미리 정의된 그리드를 사용하여 기가픽셀 단위의 RSI 처리 시 정보 손실이 발생하는 문제가 있습니다. 이를 해결하기 위해 본 논문에서는 동적 이미지 피라미드(DIP)와 결합된 텍스트 기반 토큰 가지치기 방법을 제안합니다. 핵심 영역을 식별하는 영역 집중 모듈(RFM)과 DIP 기반의 거친-미세 이미지 타일 선택 및 시각 토큰 가지치기 전략을 통해 전체 이미지를 직접 처리하지 않고도 이미지 세부 정보를 보존하면서 계산 복잡도를 줄입니다. 또한, 기존의 LVLMs 평가 벤치마크의 한계를 극복하기 위해 이미지 길이 최대 27,328 픽셀에 달하는 8개 카테고리, 7,333개의 QA 쌍을 포함하는 새로운 벤치마크 LRS-VQA를 구축했습니다. 제안된 방법은 동일한 데이터를 사용하는 네 개의 데이터셋에서 기존 고해상도 전략보다 우수한 성능을 보였으며, 기존 토큰 감소 방법보다 고해상도 환경에서 더 높은 효율성을 입증했습니다. 데이터셋과 코드는 https://github.com/VisionXLab/LRS-VQA 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
거대 원격 감지 이미지에 대한 효율적인 시각-언어 이해를 위한 새로운 방법 제시
◦
동적 이미지 피라미드(DIP)와 텍스트 기반 토큰 가지치기를 통한 계산 복잡도 감소 및 이미지 세부 정보 보존
◦
영역 집중 모듈(RFM)을 통한 텍스트 기반 중요 영역 식별 및 효율적인 이미지 처리
◦
고해상도 원격 감지 이미지에 대한 질문응답 쌍을 포함하는 새로운 벤치마크 LRS-VQA 구축
◦
기존 방법 대비 우수한 성능 및 효율성 입증
•
한계점:
◦
LRS-VQA 벤치마크의 데이터셋 규모가 향후 더 확장될 필요가 있음.
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요함.
◦
다양한 유형의 원격 감지 이미지에 대한 적용성 평가가 필요함.
