EffOWT: Transfer Visual Language Models to Open-World Tracking Efficiently and Effectively
Created by
Haebom
저자
Bingyang Wang, Kaer Huang, Bin Li, Yiqiang Yan, Lihe Zhang, Huchuan Lu, You He
개요
본 논문은 개방형 추적(OWT)에서 시각 언어 모델(VLMs)을 효율적으로 전이하기 위한 새로운 방법인 EffOWT를 제안합니다. 기존 VLMs의 OWT 적용 시 발생하는 과도한 매개변수 및 메모리 비용 문제를 해결하기 위해, VLM 백본은 고정하고 작고 독립적인 학습 가능한 부가 네트워크를 구축합니다. 이 부가 네트워크는 Transformer와 CNN의 하이브리드 구조를 사용하여 성능을 향상시키고, MLP에 대한 sparse interaction을 적용하여 매개변수 업데이트와 메모리 비용을 크게 줄입니다. 결과적으로 EffOWT는 미지의 카테고리에 대한 추적 지표 OWTA에서 5.5%의 절대적인 성능 향상을 달성하면서, 전체 미세 조정 대비 1.3%의 매개변수만 업데이트하고 36.4%의 메모리 절약 효과를 보입니다.
시사점, 한계점
•
시사점:
◦
VLMs를 OWT에 효율적으로 적용하는 새로운 방법(EffOWT) 제시.
◦
미지의 카테고리에 대한 추적 성능을 크게 향상시킴 (OWTA 지표 기준 5.5% 절대 향상).
◦
매개변수 업데이트 및 메모리 사용량을 효과적으로 줄임 (매개변수 업데이트 1.3%, 메모리 절약 36.4%).
◦
Transformer와 CNN의 하이브리드 구조 및 sparse interaction을 통한 성능 향상.
