본 논문은 다양한 지리 공간 작업에서 성능을 향상시키는 지리 기반 모델(GeoFMs)의 발전에 대해 다룹니다. 기존 GeoFMs는 주로 항공 촬영 원격 감지(RS) 데이터에 집중하지만 지상 수준의 이미지와 같은 다른 데이터 모달리티는 무시합니다. 본 논문은 이러한 한계를 해결하기 위해 항공 촬영 RS 데이터, 스트리트 뷰(SV) 이미지 및 해당 지리 위치 메타데이터를 통합하는 새로운 다중 모달 GeoFM 아키텍처인 GAIR을 제안합니다. GAIR은 세 가지 요인화된 신경 인코더를 사용하여 SV 이미지, 해당 지리 위치 및 RS 이미지를 임베딩 공간으로 투영합니다. SV 이미지와 RS 이미지의 지리적 정렬을 위해, 연속적인 RS 이미지 표현을 학습하고 SV 이미지의 지리 위치에서 RS 임베딩을 찾는 새로운 암시적 신경 표현(INR) 모듈을 제안합니다. 지리적으로 정렬된 SV 임베딩, RS 임베딩 및 위치 임베딩은 레이블이 없는 데이터의 대조 학습 목표로 학습됩니다. RS 이미지 기반, SV 이미지 기반 및 위치 임베딩 기반 벤치마크를 포함한 10가지 지리 공간 작업에서 GAIR을 평가하여 최첨단 GeoFMs 및 기타 강력한 기준보다 우수한 성능을 보임을 보여줍니다.
