LangDA: Building Context-Awareness via Language for Domain Adaptive Semantic Segmentation
Created by
Haebom
Category
Empty
저자
Chang Liu, Bavesh Balaji, Saad Hossain, C Thomas, Kwei-Herng Lai, Raviteja Vemulapalli, Alexander Wong, Sirisha Rambhatla
개요
본 논문은 비지도 영역 적응을 통한 의미론적 분할(DASS) 문제를 다룹다. 기존의 비전 기반 접근법은 잡음이 많은 의사 레이블에 취약하고, 언어 기반 접근법은 객체 간의 공간적 관계를 충분히 포착하지 못하는 한계를 지닌다. LangDA는 VLM을 이용하여 객체 간의 문맥적 관계를 학습하고, 이를 바탕으로 이미지 특징과 텍스트 표현을 정렬하여 일반화된 표현을 학습한다. 세 가지 DASS 벤치마크에서 기존 방법보다 2.6%, 1.4%, 3.9% 향상된 성능을 달성하여 최첨단 기술을 제시한다.
시사점, 한계점
•
시사점:
◦
VLM을 활용하여 객체 간의 문맥적 관계를 효과적으로 학습하는 새로운 DASS 접근법을 제시.
◦
이미지 특징과 텍스트 표현의 정렬을 통해 일반화된 표현 학습 및 성능 향상.
◦
세 가지 DASS 벤치마크에서 최첨단 성능 달성.
•
한계점:
◦
VLM에 대한 의존성이 높아 VLM의 성능에 따라 LangDA의 성능이 영향을 받을 수 있음.
