Spatial Frequency Modulation for Semantic Segmentation
Created by
Haebom
저자
Linwei Chen, Ying Fu, Lin Gu, Dezhi Zheng, Jifeng Dai
개요
본 논문은 공간 고주파 정보(미세한 질감 등)가 의미론적 분할 정확도에 크게 기여하지만, 나이퀴스트-섀넌 표본화 정리에 따라 스트라이드 합성곱과 같은 다운샘플링 계층을 통과할 때 고주파 성분이 에일리어싱 또는 왜곡될 수 있다는 점을 지적한다. 이를 해결하기 위해, 다운샘플링 전에 고주파 특징을 저주파로 변조한 후 업샘플링 중에 다시 복조하는 새로운 공간 주파수 변조(SFM) 기법을 제안한다. 적응형 리샘플링(ARS)을 통해 변조를 구현하고, 고주파 영역을 밀집 샘플링하여 신호를 확장하여 주파수 스케일링 속성에 따라 주파수를 낮추는 경량 애드온을 설계한다. 또한, 다중 스케일 적응형 업샘플링(MSAU)을 제안하여 변조된 특징을 복조하고 비균일 업샘플링을 통해 고주파 정보를 복구한다. 이 모듈은 여러 스케일에서 밀집 및 드문드문 리샘플링된 영역 간의 정보 상호 작용을 명시적으로 활용하여 분할을 개선한다. 두 모듈 모두 합성곱 신경망부터 트랜스포머까지 다양한 아키텍처와 원활하게 통합될 수 있다. 특징 시각화 및 분석을 통해 제안된 방법이 에일리어싱을 효과적으로 완화하는 동시에 복조 후에도 세부 정보를 성공적으로 유지함을 확인한다. 마지막으로, 이미지 분류, 적대적 강건성, 인스턴스 분할, 패노라마 분할 작업으로 확장하여 SFM의 광범위한 적용 가능성과 효과를 검증한다. 코드는 https://github.com/Linwei-Chen/SFM 에서 확인 가능하다.
