원격 감지 변화 캡션은 서로 다른 시점에 촬영된 두 개의 원격 감지 이미지 간의 변화를 자연어로 설명하는 새로운 연구 분야입니다. 기존 방법들은 CNN/Transformer를 사용하여 시각적 표현을 추출하거나, 보조 작업을 통합하여 최종 결과를 향상시켰지만, 약한 영역 인식과 제한적인 시간 정렬 문제를 가지고 있습니다. 본 논문은 이러한 문제를 해결하기 위해 SAM(Segment Anything Model) 기반 모델을 활용하여 영역 수준의 표현을 추출하고 관심 영역에 대한 지식을 캡션 프레임워크에 주입하는 방법을 탐구합니다. 구체적으로, CNN/Transformer 모델로 전역 수준의 시각적 특징을 추출하고, SAM 모델로 의미 및 움직임 수준의 변화 영역을 식별하며, 특별히 구성된 지식 그래프를 사용하여 관심 객체에 대한 정보를 제공합니다. 이러한 이질적인 정보는 교차 어텐션을 통해 융합된 후, Transformer 디코더를 사용하여 관찰된 변화에 대한 최종 자연어 설명을 생성합니다. 광범위한 실험 결과는 제안된 방법이 여러 널리 사용되는 벤치마크 데이터 세트에서 최고 성능을 달성함을 보여줍니다.
