Transferable Mask Transformer: Cross-domain Semantic Segmentation with Region-adaptive Transferability Estimation
Created by
Haebom
저자
Jianhua Liu, Zhengyu Li, Yanru Wu, Jingge Wang, Yang Tan, Ruizhe Zhao, Guan Wang, Yang Li
개요
본 논문은 비전 트랜스포머(ViTs)를 이용한 의미론적 분할에서 도메인 간 차이로 인한 성능 저하 문제를 해결하기 위해, 영역 수준 적응 기법을 제시합니다. 기존의 전역 또는 패치 수준 적응 기법의 한계를 극복하고자, Adaptive Cluster-based Transferability Estimator (ACTE)를 통해 이미지를 구조적, 의미적으로 일관된 영역으로 동적으로 분할하여 지역별 전달 가능성을 평가합니다. 이어서, Transferable Masked Attention (TMA) 모듈을 통해 영역별 전달 가능성 맵을 ViTs의 어텐션 메커니즘에 통합하여 전달 가능성이 낮고 의미적 불확실성이 높은 영역의 적응을 우선시합니다. 20개의 도메인 간 쌍에 대한 종합적인 평가를 통해 기존 방법 대비 평균 2% MIoU 향상을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
영역 수준 적응을 통해 도메인 간 차이로 인한 ViTs 기반 의미론적 분할 성능 저하 문제를 효과적으로 해결하는 새로운 방법 제시.
◦
ACTE와 TMA 모듈을 통해 지역별 전달 가능성을 효율적으로 분석하고 적응 과정에 반영.
