CSTrack: Enhancing RGB-X Tracking via Compact Spatiotemporal Features
Created by
Haebom
저자
X. Feng, D. Zhang, S. Hu, X. Li, M. Wu, J. Zhang, X. Chen, K. Huang
개요
본 논문은 RGB-X 추적기 설계에서 RGB 및 다양한 모달리티(깊이, 열, 이벤트 데이터 등)의 시공간적 특징을 효과적으로 모델링하고 활용하는 방법을 제시합니다. 기존 방법들은 RGB와 X 입력 스트림을 별도로 처리하는 두 개의 병렬 분기를 사용하여 모델이 두 개의 분산된 특징 공간을 동시에 처리하도록 하였는데, 이는 모델 구조와 계산 과정을 복잡하게 만듭니다. 또한 각 분산 공간 내의 모달리티 내부 공간 모델링은 상당한 계산 오버헤드를 초래하여 모달리티 간 공간 모델링과 시간 모델링에 사용할 수 있는 자원을 제한합니다. 이를 해결하기 위해 본 논문에서는 간단하면서도 효과적인 추적을 위해 압축된 시공간 특징을 모델링하는 새로운 추적기인 CSTrack을 제안합니다. 구체적으로, RGB-X 이중 입력 스트림을 압축된 공간 특징으로 통합하는 혁신적인 공간 압축 모듈을 도입하여 모달리티 내부 및 모달리티 간 공간 모델링을 철저하게 수행합니다. 또한, 개선된 목표 분포 히트맵을 구성하여 시간적 특징을 압축적으로 나타내는 효율적인 시간 압축 모듈을 설계합니다. 광범위한 실험을 통해 제안된 압축 시공간 모델링 방법의 효과를 검증하였으며, CSTrack이 주요 RGB-X 벤치마크에서 새로운 최첨단 결과를 달성했습니다. 코드와 모델은 https://github.com/XiaokunFeng/CSTrack 에서 공개될 예정입니다.
