RELO: Reinforcement Learning to Localize for Visual Object Tracking

작성자

Haebom

카테고리

Empty

저자

Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

💡 개요

본 논문은 기존 시각 객체 추적에서 사용되는 수작업 공간 사전 정보(예: 히트맵)의 한계를 지적하며, 이를 강화학습을 통해 학습된 지역화 정책으로 대체하는 RELO(REinforcement-learning-to-LOcalize) 방법을 제안합니다. RELO는 프레임 단위 IoU와 시퀀스 단위 AUC를 결합한 보상을 통해 객체 위치를 최적화하며, 레이어 정렬 시간 토큰 전파를 추가하여 의미론적 일관성을 높입니다.

🔑 시사점 및 한계

•

강화학습 기반의 보상 함수(IoU, AUC)를 사용하여 객체 추적의 최적화 목표와 직접적으로 정렬되는 새로운 지역화 방식을 제시했습니다.

•

템플릿 업데이트 없이도 LaSOText 벤치마크에서 57.5% AUC를 달성하는 등 우수한 성능을 보여, 사전 정보 기반 방식에 대한 효과적인 대안임을 입증했습니다.

•

RELO는 레이어 정렬 시간 토큰 전파를 통해 계산 오버헤드가 거의 없이 프레임 간 의미론적 일관성을 개선했습니다.

•

학습된 정책의 일반화 성능 및 다양한 환경에서의 강건성 검증이 추가적으로 필요합니다.

PDF 보기

Made with Slashpage