Are We Making Progress in Multimodal Domain Generalization? A Comprehensive Benchmark Study

작성자

Haebom

카테고리

Empty

저자

Hao Dong, Hongzhao Li, Shupan Li, Muhammad Haris Khan, Eleni Chatzi, Olga Fink

💡 개요

본 논문은 멀티모달 도메인 일반화(MMDG) 연구의 실제적인 발전을 평가하기 위한 표준화된 벤치마크인 MMDG-Bench를 제안합니다. 기존 연구들이 데이터셋, 모달리티 구성, 실험 설정 등에서 일관성이 부족하여 실제적인 알고리즘 발전을 파악하기 어렵다는 문제를 해결하고자 합니다. MMDG-Bench는 다양한 태스크와 모달리티 조합에서 공정하고 포괄적인 평가를 제공하여, MMDG 연구의 현재 상태를 명확히 보여줍니다.

🔑 시사점 및 한계

•

현재 MMDG 연구의 발전은 제한적일 수 있습니다. 공정한 비교 하에서 최신 MMDG 방법론들이 기존 ERM(Empirical Risk Minimization) 기법에 비해 큰 성능 향상을 보이지 않으며, 단일 방법론이 모든 상황에서 우수한 성능을 보이지 못했습니다.

•

MMDG는 여전히 해결해야 할 과제가 많습니다. 상위 성능과의 큰 격차는 MMDG 분야가 아직 초기 단계에 있음을 시사하며, 특히 입력 손상, 모달리티 누락, 모델 신뢰성 측면에서 취약점이 두드러집니다.

•

다중 모달리티 융합이 항상 최적의 해답은 아닙니다. 세 가지 모달리티를 융합하는 것이 항상 두 가지 모달리티를 사용하는 최적의 조합보다 뛰어나지 않으며, 일부 방법론은 모델 신뢰성을 오히려 저해할 수 있습니다.

•

현재 모델들은 입력 손상 및 모달리티 누락에 취약합니다. 평가된 모든 방법론은 손상된 입력이나 누락된 모달리티 환경에서 성능 저하를 크게 보이며, 이는 실제 적용 시 중요한 고려 사항입니다.

•

본 연구는 MMDG 분야의 표준화된 평가를 제공하지만, 벤치마크 자체의 데이터셋 선택 및 태스크 범위는 향후 더 확장될 여지가 있습니다. 또한, 평가된 방법론 외의 새로운 접근 방식에 대한 검증도 필요합니다.

PDF 보기

Made with Slashpage