OV-Stitcher: A Global Context-Aware Framework for Training-Free Open-Vocabulary Semantic Segmentation

Created by

Haebom

저자

Seungjae Moon, Seunghyun Oh, Youngmin Ro

💡 개요

기존의 훈련 없는 개방형 어휘 의미 분할(TF-OVSS)은 입력 해상도 제한으로 인해 슬라이딩 윈도우 방식을 사용하여 전역적인 맥락을 놓치는 문제가 있었습니다. 본 논문에서는 OV-Stitcher라는 프레임워크를 제안하며, 이는 분할된 이미지 특징을 마지막 인코더 블록 내에서 직접 재구성하여 전역적인 주의(global attention)를 가능하게 합니다. 이를 통해 일관된 맥락 집계와 공간적으로 일관된 분할 지도를 생성하여 이전 방법 대비 mIoU를 향상시켰습니다.

🔑 시사점 및 한계

•

기존 TF-OVSS 방법론의 고질적인 문제였던 전역적 맥락 부족 문제를 효과적으로 해결합니다.

•

훈련 없이도 분할된 특징 간의 주의 메커니즘을 재구성하여 의미론적으로 일관된 분할 결과를 얻을 수 있습니다.

•

평가 벤치마크에서 기존 훈련 없는 베이스라인 대비 성능 향상을 입증하며 확장 가능하고 효과적인 솔루션을 제시합니다.

•

본 연구는 훈련 없는 방식에 초점을 맞추었으므로, 미세 조정(fine-tuning)을 통해 더 높은 성능을 달성할 가능성은 탐구되지 않았습니다.

PDF 보기

Made with Slashpage