FineBench: Benchmarking and Enhancing Vision-Language Models for Fine-grained Human Activity Understanding

작성자

Haebom

카테고리

Empty

저자

Gueter Josmy Faure, Min-Hung Chen, Jia-Fong Yeh, Hung-Ting Su, Winston H. Hsu

💡 개요

본 논문은 인간 활동에 대한 미세한 이해를 평가하는 데 어려움을 겪는 기존 Vision-Language Model(VLM)의 한계를 지적하고, 이를 해결하기 위해 'FineBench'라는 대규모의 인간 중심 비디오 질의응답 벤치마크를 제안합니다. FineBench는 긴 형식의 비디오에 대해 세밀한 동작, 상호작용, 객체 조작에 초점을 맞춘 방대한 양의 질의응답 데이터를 포함하며, 이를 통해 기존 VLM의 공간적 추론 및 미묘한 움직임 이해 능력 부족을 확인했습니다. 또한, 이러한 약점을 보완하기 위해 Localizer와 Descriptor를 활용한 'FineAgent' 프레임워크를 제안하여, 다양한 오픈 소스 VLM의 성능을 효과적으로 향상시켰습니다.

🔑 시사점 및 한계

•

FineBench는 긴 형식 비디오에서 인간 활동에 대한 세밀한 이해를 평가하기 위한 강력한 벤치마크를 제공합니다.

•

FineAgent는 현재 VLM의 미세한 인간 활동 이해 능력을 실질적으로 향상시키는 모듈형 프레임워크를 제시합니다.

•

현존하는 오픈 소스 VLM은 복잡한 다중 인물 상황에서의 공간 추론 및 미묘한 인간 움직임 구별에 여전히 큰 성능 격차를 보입니다.

•

FineBench의 방대한 데이터셋 구축 및 주석 작업의 정확성과 일관성 유지, 그리고 FineAgent의 일반화 성능 향상 및 효율성 개선이 향후 연구 과제로 남습니다.

PDF 보기

Made with Slashpage