Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GazeVLM: A Vision-Language Model for Multi-Task Gaze Understanding

Created by
  • Haebom
Category
Empty

저자

Athul M. Mathew, Haithem Hermassi, Thariq Khalid, Arshad Ali Khan, Riad Souissi

개요

본 논문은 시각적 주의와 의도 추론에 대한 중요한 통찰력을 제공하는, 사람, 시선 대상, 관심 객체의 탐지를 단일 프레임워크로 통합하는 새로운 Vision-Language Model (VLM)인 GazeVLM을 소개합니다. GazeVLM은 시각 (RGB 및 깊이)과 텍스트 모달리티를 통합하여 사람 탐지, 시선 대상 탐지 및 시선 객체 식별을 수행합니다. 실험을 통해 GazeVLM은 GazeFollow 및 VideoAttentionTarget 데이터 세트에서 최첨단 성능을 달성했습니다.

시사점, 한계점

시사점:
시선 이해를 위한 최초의 VLM 기반 통합 시스템 제시.
RGB 이미지와 HHA 인코딩 깊이 맵의 융합이 우수한 성능을 보임.
시선 객체 식별을 위한 새로운 지표($AP_{ob}$) 도입.
GazeFollow 및 VideoAttentionTarget 데이터 세트에서 SOTA 달성.
한계점:
논문에 구체적인 한계점에 대한 언급은 없음.
👍