Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Long-Term Visual Object Tracking with Event Cameras: An Associative Memory Augmented Tracker and A Benchmark Dataset

Created by
  • Haebom

저자

Xiao Wang, Xufeng Lou, Shiao Wang, Ju Huang, Lan Chen, Bo Jiang

개요

본 논문은 기존 이벤트 스트림 기반 추적기의 단기 추적 데이터셋에 대한 평가의 한계를 지적하며, 실제 시나리오의 장기 추적을 고려한 새로운 대규모 장기 추적 데이터셋 FELT를 제시합니다. FELT는 1,044개의 장기 비디오, 190만 개의 RGB 프레임 및 이벤트 스트림 쌍, 60개의 서로 다른 목표 객체, 14가지 어려운 속성을 포함합니다. 또한, 21개의 기준 추적기를 FELT 데이터셋에서 재훈련 및 평가하여 벤치마크를 구축하고, 연관 기억 변환기(AMT) 기반의 RGB-이벤트 장기 시각적 추적기인 AMTTrack을 제안합니다. AMTTrack은 단일 스트림 추적 프레임워크를 따르며 Hopfield 검색 계층을 통해 다중 스케일 RGB/이벤트 템플릿과 검색 토큰을 효과적으로 집계하고, 연관 기억 업데이트 방식을 통해 동적 템플릿 표현을 유지하여 장기 추적에서의 외관 변화 문제를 해결합니다. FELT, FE108, VisEvent, COESOT 데이터셋에 대한 광범위한 실험을 통해 제안된 추적기의 효과를 검증하였으며, 데이터셋과 소스 코드는 공개될 예정입니다.

시사점, 한계점

•
시사점:
◦
실제 시나리오를 고려한 대규모 장기 시각적 객체 추적 데이터셋 FELT를 제시하여 장기 추적 연구의 발전에 기여.
◦
RGB-이벤트 정보를 효과적으로 활용하는 새로운 장기 추적 알고리즘 AMTTrack을 제안.
◦
AMTTrack의 우수성을 다양한 데이터셋에서 검증.
◦
장기 추적 분야의 새로운 벤치마크 제공.
•
한계점:
◦
FELT 데이터셋의 다양성 및 대표성에 대한 추가적인 검토 필요.
◦
AMTTrack의 계산 비용 및 실시간 성능에 대한 추가적인 분석 필요.
◦
다른 최첨단 장기 추적 알고리즘과의 더욱 포괄적인 비교 연구 필요.
👍
Made with Slashpage