본 논문은 1시간 이상의 장시간 비디오 이해를 위한 대규모 벤치마크 데이터셋 HLV-1K를 제시합니다. HLV-1K는 1009개의 1시간짜리 비디오와 14,847개의 고품질 질의응답(QA) 및 다중 선택 질의응답(MCQA) 쌍으로 구성되어 있으며, 시간 인식 질의와 다양한 주석을 포함하여 프레임 수준, 이벤트 내 수준, 이벤트 간 수준 및 장기 추론 작업을 다룹니다. 기존 최첨단 방법을 사용하여 벤치마크를 평가하고, 다양한 수준과 작업에서 심층적인 장시간 비디오 이해 능력을 테스트하기 위한 가치를 보여줍니다. 이는 장시간 라이브 비디오, 회의 녹화 및 영화에 대한 심층적인 이해와 같은 세분화된 수준의 향후 장시간 비디오 이해 작업을 촉진합니다.
시사점, 한계점
•
시사점:
◦
장시간 비디오 이해를 위한 대규모 벤치마크 데이터셋 HLV-1K를 제공하여 연구 발전을 촉진합니다.
◦
다양한 수준(프레임, 이벤트 내, 이벤트 간, 장기 추론)과 작업(QA, MCQA)을 포함하여 포괄적인 평가를 가능하게 합니다.
◦
장시간 비디오 이해 모델의 성능을 평가하고 개선하는 데 기여합니다.
◦
라이브 비디오, 회의 녹화, 영화 등 다양한 장시간 비디오 분석에 활용될 수 있습니다.
•
한계점:
◦
현재로서는 HLV-1K 데이터셋의 크기가 다른 대규모 멀티모달 데이터셋에 비해 상대적으로 작을 수 있습니다.
◦
데이터셋의 다양성과 대표성에 대한 추가적인 검토가 필요할 수 있습니다.
◦
제시된 벤치마크는 특정 유형의 질문과 답변에만 초점을 맞추고 있을 수 있으며, 다른 유형의 질문이나 분석에는 적용이 제한적일 수 있습니다.
