본 논문은 다양한 모달리티(이미지, 오디오, 비디오, 3D)를 포함하는 질의에 대해 가장 관련성이 높은 정보를 포함하는 모달리티를 선택하는 능력을 평가하기 위해 Contra4 데이터셋을 제시합니다. Contra4는 자연어 질문과 여러 후보 모달리티 인스턴스를 제공하며, 모델은 질문과 의미적으로 일치하는 모달리티를 선택해야 합니다. 인간 주석 캡션과 혼합 모델 라운드 트립 일관성 필터를 사용하여 고품질 감독을 확보하여 17,4000개의 학습 예제와 2,300개의 수동으로 검증된 테스트 세트를 생성했습니다. 최첨단 모델의 성능은 여전히 56%의 전체 정확도와 4모달리티 설정에서 42%의 정확도에 그쳐, 현재 다중 모달 모델의 한계를 보여줍니다.
