Zhiqiu Lin, Siyuan Cen, Daniel Jiang, Jay Karhade, Hewei Wang, Chancharik Mitra, Tiffany Ling, Yuhan Huang, Sifan Liu, Mingyu Chen, Rushikesh Zawar, Xue Bai, Yilun Du, Chuang Gan, Deva Ramanan
개요
CameraBench는 카메라 움직임 이해를 평가하고 개선하기 위해 설계된 대규모 데이터셋 및 벤치마크입니다. 약 3,000개의 다양한 인터넷 비디오로 구성되며, 엄격한 다단계 품질 관리 프로세스를 통해 전문가에 의해 주석이 달렸습니다. 촬영 감독과의 협업을 통해 카메라 모션 기본 요소의 분류 체계를 제시합니다. 예를 들어, "추적"과 같은 일부 동작은 움직이는 피사체와 같은 장면 내용을 이해하는 것이 필요합니다. 대규모 인간 연구를 통해 인간 주석 성능을 정량화하여, 도메인 전문 지식과 튜토리얼 기반 교육이 정확도를 크게 향상시킬 수 있음을 보여줍니다. 예를 들어, 초보자는 줌 인(내부 매개변수 변경)을 앞으로 이동(외부 매개변수 변경)과 혼동할 수 있지만, 훈련을 통해 두 가지를 구별할 수 있습니다. CameraBench를 사용하여 Structure-from-Motion(SfM) 및 Video-Language Model(VLM)을 평가한 결과, SfM 모델은 장면 내용에 의존하는 의미 기본 요소를 포착하는 데 어려움을 겪고, VLM은 궤적의 정확한 추정이 필요한 기하학적 기본 요소를 포착하는 데 어려움을 겪는다는 것을 발견했습니다. 그런 다음 생성형 VLM을 CameraBench에서 미세 조정하여 두 세계의 장점을 모두 실현하고 모션 증강 캡션, 비디오 질문 응답 및 비디오-텍스트 검색을 포함한 응용 프로그램을 선보입니다. 이 분류 체계, 벤치마크 및 튜토리얼을 통해 모든 비디오에서 카메라 움직임을 이해하는 궁극적인 목표를 향한 미래의 노력을 기대합니다.
