Talking to DINO: Bridging Self-Supervised Vision Backbones with Language for Open-Vocabulary Segmentation
Created by
Haebom
저자
Luca Barsellotti, Lorenzo Bianchi, Nicola Messina, Fabio Carrara, Marcella Cornia, Lorenzo Baraldi, Fabrizio Falchi, Rita Cucchiara
개요
Talk2DINO는 DINOv2의 정교한 시각적 인코딩과 CLIP의 언어 이해 능력을 결합한 새로운 하이브리드 접근 방식의 오픈 보케이불러리 분할(OVS) 모델입니다. 기존 Vision Transformer 기반 모델들의 공간적 국재화 한계를 극복하기 위해, CLIP의 텍스트 임베딩과 DINOv2의 패치 수준 특징을 학습된 매핑 함수를 통해 정렬합니다. DINOv2의 어텐션 맵을 활용하여 국소 시각 패치와 텍스트 임베딩을 선택적으로 정렬하며, 기본 백본의 미세 조정 없이 수행됩니다. 이를 통해 자연스럽고 노이즈가 적은 분할 결과를 얻고, 전경 객체와 배경을 효과적으로 구분합니다. 여러 비지도 학습 OVS 벤치마크에서 최첨단 성능을 달성합니다.
시사점, 한계점
•
시사점:
◦
DINOv2와 CLIP의 장점을 결합하여 기존 OVS 모델의 한계를 극복하는 새로운 접근 방식 제시.
◦
기본 백본 미세 조정 없이 우수한 성능 달성.
◦
자연스럽고 노이즈가 적은 분할 결과 생성.
◦
전경과 배경의 효과적인 구분.
◦
여러 비지도 학습 OVS 벤치마크에서 최첨단 성능 달성.
◦
소스 코드와 모델 공개.
•
한계점:
◦
논문에서는 명시적으로 한계점을 언급하지 않음. 추가적인 연구를 통해 다양한 데이터셋이나 복잡한 시나리오에서의 성능을 평가할 필요가 있음.
