본 논문은 시험 시점에서의 분포 변화에 대한 최신 시청각 모델의 강건성을 평가하기 위한 포괄적인 벤치마크인 AVROBUSTBENCH를 제안합니다. 기존 벤치마크가 단일 모달리티에만 초점을 맞춘 것과 달리, AVROBUSTBENCH는 오디오 및 비디오 모달리티에서 동시에 발생하는 변화를 고려하여 AUDIOSET-2C, VGGSOUND-2C, KINETICS-2C, EPICKITCHENS-2C 네 개의 데이터셋과 75가지의 동시 발생하고 상관된 이모달 시청각 왜곡을 포함합니다. 실험 결과, 최첨단 지도 학습 및 자기 지도 학습 시청각 모델은 왜곡 심각도가 증가함에 따라 강건성이 저하되는 것을 확인하였고, 온라인 시험 시점 적응(TTA) 방법은 이모달 왜곡 하에서 성능 향상에 미미한 효과를 보였습니다. 본 논문에서는 고엔트로피 샘플에 패널티를 부과하여 온라인 교차 모달 융합을 가능하게 하는 간단한 TTA 접근 방식인 AV2C를 제안하며, VGGSOUND-2C에서 성능 향상을 달성했습니다. AVROBUSTBENCH가 더 효과적이고 강건한 시청각 TTA 접근 방식 개발을 이끌 것으로 기대합니다.
