Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

When Large Vision-Language Model Meets Large Remote Sensing Imagery: Coarse-to-Fine Text-Guided Token Pruning

Created by
  • Haebom

저자

Junwei Luo, Yingying Zhang, Xue Yang, Kang Wu, Qi Zhu, Lei Liang, Jingdong Chen, Yansheng Li

개요

본 논문은 거대 원격 감지 이미지(RSI)에 대한 효율적인 시각-언어 이해를 위한 새로운 방법을 제시합니다. 기존의 거대 시각-언어 모델(LVLMs)은 이미지 처리에 제한적인 미리 정의된 그리드를 사용하여 기가픽셀 RSI 처리 시 정보 손실을 야기하는 한계를 가지고 있습니다. 이를 해결하기 위해, 본 논문에서는 동적 이미지 피라미드(DIP)를 통합한 텍스트 안내 토큰 가지치기 방법을 제안합니다. 이는 영역 집중 모듈(RFM)을 통해 텍스트 인식 영역 위치 파악 능력을 활용하여 중요한 시각 토큰을 식별하고, RFM 출력에 따라 거친 이미지 타일에서 세밀한 이미지 타일로 선택 및 시각 토큰 가지치기를 수행하여 전체 이미지를 직접 처리하지 않고 계산 복잡도를 줄입니다. 또한, 기존의 LVLMs 평가 벤치마크의 한계를 극복하기 위해 이미지 길이 최대 27,328 픽셀에 달하는 8개 카테고리, 7,333개의 QA 쌍을 포함하는 새로운 벤치마크 LRS-VQA를 구축했습니다. 제안된 방법은 동일한 데이터를 사용하는 네 개의 데이터셋에서 기존 고해상도 전략보다 우수한 성능을 보이며, 고해상도 설정에서 기존 토큰 감소 방법보다 높은 효율성을 입증합니다. 소스 코드와 데이터셋은 깃허브(https://github.com/VisionXLab/LRS-VQA)에서 공개됩니다.

시사점, 한계점

시사점:
거대 원격 감지 이미지에 대한 효율적인 시각-언어 이해를 위한 새로운 방법 제시.
동적 이미지 피라미드(DIP)와 텍스트 안내 토큰 가지치기를 통한 계산 복잡도 감소 및 정보 손실 최소화.
기존 벤치마크의 한계를 극복하는 새로운 고해상도 RSI 질의응답 벤치마크 LRS-VQA 구축.
기존 고해상도 전략 및 토큰 감소 방법 대비 우수한 성능 및 효율성 입증.
한계점:
LRS-VQA 벤치마크의 범용성 및 확장성에 대한 추가적인 검증 필요.
제안된 방법의 다양한 유형의 거대 RSI에 대한 일반화 성능 평가 필요.
RFM의 성능에 대한 의존성이 높을 수 있음.
👍