EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding

작성자

Haebom

카테고리

Empty

저자

Ziyang Wang, Yue Zhang, Shoubin Yu, Ce Zhang, Zengqi Zhao, Jaehong Yoon, Hyunji Lee, Gedas Bertasius, Mohit Bansal

💡 개요

본 논문은 스마트 글래스, 체화된 에이전트 등 차세대 시각 보조 시스템이 하루 이상의 긴 시간 동안 축적된 시각적 경험을 이해하고 추론해야 하는 필요성에 주목합니다. 기존 벤치마크는 이러한 장기적인 기억 추론에 적합하지 않기에, 본 연구에서는 EgoMemReason이라는 새로운 벤치마크를 제안합니다. EgoMemReason은 개체, 사건, 행동에 대한 기억 추론 능력을 평가하며, 500개의 질문과 25.9시간의 기억 추적을 포함합니다.

🔑 시사점 및 한계

•

장기 기억 기반 추론의 중요성 대두: EgoMemReason은 장시간의 영상 데이터를 기반으로 정보를 축적하고, 시간 순서를 추적하며, 패턴을 추상화하는 모델의 능력이 차세대 시각 보조 시스템의 핵심임을 시사합니다.

•

기억 유형별 추론 능력의 차이: 제안된 벤치마크는 개체, 사건, 행동 기억 등 세 가지 유형의 기억 추론 능력을 구분하여 평가하며, 각 유형별로 모델의 성능 저하 원인이 다를 수 있음을 보여줍니다.

•

장기 기억 추론의 난제: 현재 최첨단 모델들도 EgoMemReason에서 39.6%의 낮은 정확도를 기록하며, 증거가 더 긴 시간대에 걸쳐 분포할수록 성능이 저하되는 등 장기 기억 기반 추론 문제는 아직 해결되지 않은 중요한 과제임을 드러냅니다.

PDF 보기

Made with Slashpage