HyperspectralMAE: The Hyperspectral Imagery Classification Model using Fourier-Encoded Dual-Branch Masked Autoencoder
Created by
Haebom
저자
Wooyoung Jeong, Hyun Jae Park, Seonghun Jeong, Jong Wook Jang, Tae Hoon Lim, Dae Seoung Kim
개요
본 논문은 고차원의 공간 및 분광 영역을 가지는 고분광 영상의 독특한 문제점을 해결하기 위해 Transformer 기반의 고분광 영상용 기초 모델인 HyperspectralMAE를 제안한다. HyperspectralMAE는 공간 패치 50%와 분광 대역 50%를 무작위로 차단하는 이중 마스킹 전략을 채택하여, 모델이 두 차원 모두에서 누락된 정보를 재구성할 수 있는 표현을 학습하도록 유도한다. 파장을 기반으로 학습 가능한 조화 푸리에 위치 임베딩을 도입하여 분광 순서를 인코딩하고, MSE와 SAM을 결합한 재구성 목적 함수를 사용하여 픽셀 수준 정확도와 분광 형태 충실도의 균형을 맞춘다. NASA EO-1 Hyperion과 DLR EnMAP Level-0 데이터셋을 사용하여 사전 학습된 HyperspectralMAE는 Indian Pines 벤치마크에서 최첨단 전이 학습 정확도를 달성하였다.
시사점, 한계점
•
시사점:
◦
이중 마스킹 전략을 통한 효과적인 고분광 영상 표현 학습 방법 제시.
◦
파장 인식 임베딩을 활용한 분광 순서 정보 효과적으로 활용.
◦
대규모 고분광 데이터셋을 활용한 사전 학습을 통해 전이 학습 성능 향상.
◦
Indian Pines 데이터셋에서 최첨단 성능 달성.
•
한계점:
◦
사전 학습에 사용된 데이터셋의 특징 (NASA EO-1 Hyperion과 DLR EnMAP Level-0)에 대한 일반화 성능 검증 필요.
◦
다른 고분광 영상 분석 과제 (예: 분광 분류, 물질 분류 등)에 대한 적용성 및 성능 평가 필요.
