Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Zero-Shot Temporal Interaction Localization for Egocentric Videos

Created by
  • Haebom
Category
Empty

저자

Erhang Zhang, Junyi Ma, Yin-Dong Zheng, Yixuan Zhou, Hesheng Wang

EgoLoc: Zero-Shot Temporal Interaction Localization for Egocentric Videos

개요

본 논문은 에고센트릭 비디오에서 인간-객체 상호작용(HOI) 동작을 찾는 새로운 제로샷(zero-shot) TIL(Temporal Interaction Localization) 접근 방식인 EgoLoc을 제안합니다. 기존 방법론의 도메인 편향과 낮은 효율성을 개선하고, VLM(Vision-Language Model) 기반의 ZS-TAL(Zero-Shot Temporal Action Localization)의 문제점을 해결하고자 합니다. EgoLoc은 3D 손 속도를 기반으로 HOI의 접촉/분리 타임스탬프 주변에서 고품질 초기 추측을 직접 샘플링하는 자체 적응형 샘플링 전략을 도입하여 추론 정확도와 효율성을 높입니다. 또한, 시각적 및 동적 단서를 통해 폐쇄 루프 피드백을 생성하여 localization 결과를 개선합니다. 공개 데이터셋과 새로 제안된 벤치마크에 대한 실험을 통해 EgoLoc이 기존 SOTA(State-of-the-Art) 방식보다 더 나은 성능을 보여줍니다.

시사점, 한계점

시사점:
제로샷 학습을 통해 에고센트릭 비디오에서 HOI 동작을 효율적으로 localization.
3D 손 속도 기반의 자체 적응형 샘플링 전략으로 높은 정확도와 효율성을 달성.
폐쇄 루프 피드백을 통해 localization 결과 개선.
오픈 소스 코드 및 관련 데이터 공개.
한계점:
논문에서 구체적인 한계점에 대한 내용은 명시되지 않음.
👍