Asking like Socrates: Socrates helps VLMs understand remote sensing images
Created by
Haebom
Category
Empty
저자
Run Shao, Ziyu Li, Zhaoyang Zhang, Linrui Xu, Xinran He, Hongyuan Yuan, Bolei He, Yongxing Dai, Yiming Yan, Yijun Chen, Wang Guo, Haifeng Li
개요
DeepSeek-R1에서 영감을 받은 최근 멀티모달 추론 모델은 시각-언어 시스템을 크게 발전시켰지만, 원격 감지 (RS) 작업에서 모델이 시각적 증거에 기반하여 정답을 도출하는 대신 추론 과정을 서술하는 '가짜 추론' 현상이 발생함을 발견했습니다. 이는 대규모 RS 이미지를 단일하고 대략적으로 인식하여 발생하는 'Glance Effect' 때문이며, 완전한 이해 부족으로 인해 시각적 증거 대신 언어적 자기 일관성에 의존하는 추론을 유발합니다. 이를 해결하기 위해, 본 연구는 언어 기반 반복적 시각 증거 탐색 패러다임인 RS-EoT (Remote Sensing Evidence-of-Thought)를 제안합니다. 이 패러다임을 구현하기 위해, 추론과 시각적 검사를 번갈아 수행하는 SocraticAgent라는 자기 학습 멀티 에이전트 시스템을 제안하여 추론 흔적을 합성합니다. 또한, RS-EoT의 역량 강화를 위해 세분화된 Grounding 작업에 대한 강화 학습 (RL)을 먼저 수행하고, 더 넓은 이해 시나리오로 일반화하기 위해 RS VQA에 대한 RL을 수행하는 2단계 점진적 RL 전략을 제안합니다. 실험 결과 RS-EoT는 여러 RS VQA 및 grounding 벤치마크에서 최고 성능을 달성했습니다. 분석 결과, RS-EoT가 'Glance Effect'를 완화하고 진정한 증거 기반 추론을 가능하게 함을 확인하는 명확한 반복적 추론 및 증거 탐색 주기가 나타났습니다.
시사점, 한계점
•
시사점:
◦
RS-EoT는 원격 감지 분야에서 'Glance Effect'를 완화하고 진정한 증거 기반 추론을 가능하게 하는 새로운 접근 방식을 제시했습니다.
◦
SocraticAgent와 2단계 점진적 RL 전략은 RS-EoT를 효과적으로 구현하기 위한 혁신적인 방법론입니다.
◦
RS VQA 및 grounding 벤치마크에서 SOTA (State-of-the-Art) 성능을 달성하여, 제안된 방법론의 효과를 입증했습니다.
