MB-ORES: A Multi-Branch Object Reasoner for Visual Grounding in Remote Sensing
Created by
Haebom
저자
Karim Radouane, Hanane Azzag, Mustapha lebbah
개요
본 논문은 원격 감지(RS) 영상에서 객체 탐지(OD)와 시각적 근거 제시(VG)를 통합하는 통합 프레임워크를 제안합니다. 기존 OD를 지원하고 VG 작업에 대한 직관적인 사전 정보를 구축하기 위해, 참조 표현 데이터를 사용하여 오픈셋 객체 검출기를 미세 조정하여 부분적으로 감독되는 OD 작업으로 구성합니다. 첫 번째 단계에서 객체 쿼리, 클래스 임베딩 및 제안 위치로 구성된 각 이미지의 그래프 표현을 구성합니다. 그런 다음 작업 인식 아키텍처는 이 그래프를 처리하여 VG 작업을 수행합니다. 모델은 다음으로 구성됩니다. (i) 공간, 시각 및 범주적 특징을 통합하여 작업 인식 제안을 생성하는 다중 분기 네트워크, (ii) 제안에 대한 확률을 할당한 다음 최종 참조 객체 위치 지정을 위한 소프트 선택 메커니즘을 따르는 객체 추론 네트워크. 본 모델은 OPT-RSVG 및 DIOR-RSVG 데이터 세트에서 우수한 성능을 보이며 최첨단 방법보다 상당한 개선을 달성하는 동시에 기존 OD 기능을 유지합니다. 코드는 저장소(https://github.com/rd20karim/MB-ORES)에서 사용할 수 있습니다.
시사점, 한계점
•
시사점:
◦
원격 감지 영상에서 객체 탐지와 시각적 근거 제시를 통합하는 새로운 통합 프레임워크 제시
◦
기존 객체 탐지 성능 유지하면서 시각적 근거 제시 성능 향상
◦
OPT-RSVG 및 DIOR-RSVG 데이터셋에서 최첨단 성능 달성
◦
공개된 코드를 통해 재현성 및 확장성 확보
•
한계점:
◦
제안된 프레임워크의 일반화 성능에 대한 추가적인 실험 필요
◦
다양한 원격 감지 영상 유형에 대한 로버스트니스 평가 필요
◦
특정 데이터셋에 대한 성능 최적화 가능성 존재, 다른 데이터셋으로의 일반화 성능 검증 필요
