본 논문은 원격 감지(RS) 기반 모델을 위한 자기 지도 학습에서 비전 트랜스포머(ViT)의 최근 발전에 대해 다룹니다. 하지만 자기 주의의 이차 복잡성은 특히 대규모 모델과 고해상도 이미지에서 확장성에 큰 장벽이 됩니다. 선형 복잡성을 가진 Mamba 아키텍처가 유망한 대안을 제공하지만, 기존 Mamba의 RS 애플리케이션은 작고 도메인 특정 데이터셋에 대한 지도 학습 작업으로 제한됩니다. 이러한 문제를 해결하기 위해, 본 논문은 대규모의 다양하고 레이블이 없는 데이터를 사용하여 Mamba 기반 RS 기반 모델의 확장 가능한 자기 지도 사전 학습을 가능하게 하는 RoMA 프레임워크를 제안합니다. RoMA는 고해상도 이미지에 대한 확장성을 향상시키기 위해 맞춤형 자기 회귀 학습 전략을 도입합니다. 두 가지 핵심 혁신은 1) 임의의 방향을 가진 드물게 분포된 객체를 처리하기 위해 적응형 자르기와 각도 임베딩을 결합하는 회전 인식 사전 학습 메커니즘과 2) RS 영상에 내재된 객체 크기의 극단적인 변화를 해결하는 다중 스케일 토큰 예측 목표입니다. 체계적인 실험 연구는 Mamba가 RS 데이터 및 매개변수 스케일링 법칙을 준수하며, 모델 및 데이터 크기가 증가함에 따라 성능이 안정적으로 확장됨을 확인합니다. 또한 장면 분류, 객체 탐지 및 의미 분할 작업에 대한 실험은 RoMA로 사전 학습된 Mamba 모델이 정확도와 계산 효율성 모두에서 ViT 기반 모델보다 일관되게 우수함을 보여줍니다. 소스 코드와 사전 학습된 모델은 https://github.com/MiliLab/RoMA 에서 공개될 예정입니다.
