본 논문은 다양한 학문 분야의 강의를 이해하는 능력을 평가하기 위한 대규모 벤치마크인 Video-MMLU를 소개합니다. 0.5B에서 40B 파라미터에 이르는 90개 이상의 오픈소스 및 독점 모델을 평가하여, 현재 모델들이 강의 이해에 필요한 인지적 과제, 특히 지각과 추론을 모두 필요로 하는 작업에서 한계를 가지고 있음을 보여줍니다. 또한, 시각 토큰 수와 대규모 언어 모델이 성능에 미치는 영향을 분석하여 다중 모드 지각과 추론의 상호 작용에 대한 통찰력을 제공합니다.
시사점, 한계점
•
시사점: 다중 학문 분야 강의 이해에 대한 새로운 벤치마크인 Video-MMLU를 제시하여 LMM의 성능을 종합적으로 평가할 수 있는 기반을 마련했습니다. 시각 정보와 언어 정보의 상호작용에 대한 이해를 높일 수 있는 실험 결과를 제공했습니다.
•
한계점: 현재 LMM들이 다중 학문 강의 이해에 필요한 지각 및 추론 능력에서 여전히 한계를 가지고 있음을 보여줍니다. Video-MMLU 벤치마크 자체의 한계 및 개선점에 대한 논의가 부족할 수 있습니다. 특정 모델이나 매개변수 크기에 편향된 결과 해석 가능성이 존재합니다.