Sign In

Few-Shot Remote Sensing Image Scene Classification with CLIP and Prompt Learning

Created by
  • Haebom
Category
Empty

저자

Ivica Dimitrovski, Vlatko Spasev, Ivan Kitanovski

개요

딥러닝 기반 원격 탐사 영상 장면 분류에서 레이블된 데이터 부족과 다양한 지리적 및 센서 도메인에서 발생하는 주석 비용 문제 해결을 위해, 시각-언어 모델(예: CLIP)을 활용한 프롬프트 학습을 탐구합니다. 여러 프롬프트 학습 방법(Context Optimization, Conditional Context Optimization, Multi-modal Prompt Learning, Prompting with Self-Regulating Constraints)을 평가하고, 제로샷 CLIP 및 CLIP 특징 기반 선형 프로브와 비교하여 몇몇 원격 탐사 데이터셋에 대한 광범위한 실험을 수행합니다. 그 결과 프롬프트 학습이 소수 샷 시나리오에서 일관되게 우수한 성능을 보였으며, 특히 Prompting with Self-Regulating Constraints가 가장 강력한 교차 도메인 성능을 보였습니다.

시사점, 한계점

시사점:
프롬프트 학습은 원격 탐사 영상 장면 분류에서 도메인 간 격차를 해결하는 확장 가능하고 효율적인 솔루션으로 제시됨.
Prompting with Self-Regulating Constraints는 교차 도메인 성능에서 가장 뛰어난 결과를 보임.
소수 샷 환경에서 기존의 방법들보다 우수한 성능을 보여줌.
한계점:
구체적인 한계점에 대한 언급은 논문 요약에 명시되지 않음.
👍