본 논문은 다중 모달 모델의 모달 누락에 대한 강건성을 향상시키는 새로운 방법을 제안합니다. 모달 누락 시 성능 저하를 해결하기 위해, 'cross-modal proxy tokens (CMPTs)'를 도입하여 누락된 모달의 클래스 토큰을 있는 모달의 토큰만을 이용하여 근사하는 방법을 제시합니다. 계산 비용을 최소화하기 위해 고정된 unimodal 인코더에 저차원 어댑터를 사용하고, 정렬 손실과 과업 특유의 손실을 함께 최적화합니다. 다섯 개의 다중 모달 데이터셋에 대한 실험 결과, 다양한 누락 비율에서 최첨단 기준 모델들을 능가하는 성능을 보이며, 모든 모달이 존재하는 경우에도 경쟁력 있는 결과를 달성함을 보여줍니다. 본 방법은 유연하고 효율적인 강건한 다중 모달 학습 솔루션을 제공합니다. 코드와 사전 훈련된 모델은 GitHub에 공개될 예정입니다.
