본 논문은 오디오-비주얼 기반 모델의 다중 모달 이해력 평가의 중요성을 강조하며, 기존 VGGSound 데이터셋의 한계점(불완전한 레이블링, 부분적으로 중복되는 클래스, 모달리티 정렬 오류)을 지적합니다. 이러한 한계점으로 인해 청각 및 시각 능력의 평가가 왜곡될 수 있다는 점을 밝히고, 이를 해결하기 위해 포괄적으로 재주석된 다중 레이블 테스트 세트인 VGGSounder를 제시합니다. VGGSounder는 상세한 모달리티 주석을 제공하여 모달리티별 성능 분석을 가능하게 하며, 새로운 모달리티 혼동 측정 지표를 사용하여 추가적인 입력 모달리티가 있을 때 발생하는 모델 성능 저하를 분석함으로써 모델의 한계를 드러냅니다.
