본 논문은 다중 모달리티 융합 모델에서 관찰되는 모달리티 붕괴 현상에 대한 근본적인 이해를 목표로 한다. 모달리티 붕괴는 모델이 일부 모달리티에만 의존하고 나머지는 무시하는 현상으로, 이는 한 모달리티의 잡음 특징이 융합 헤드의 공유 뉴런을 통해 다른 모달리티의 예측 특징과 얽히면서 발생한다는 것을 보여준다. 이는 첫 번째 모달리티의 예측 특징에 대한 긍정적 기여를 효과적으로 가리고 모달리티 붕괴를 유발한다. 본 논문은 교차 모달 지식 증류가 학생 인코더의 계급 병목 현상을 해소하여 융합 헤드 출력의 잡음을 제거하고 어떤 모달리티의 예측 특징에도 부정적인 영향을 미치지 않음으로써 이러한 표현을 암묵적으로 분리한다는 것을 증명한다. 이러한 발견을 바탕으로, 본 논문은 명시적인 기저 재할당을 통해 모달리티 붕괴를 방지하는 알고리즘을 제안하며, 누락된 모달리티 처리에도 적용 가능하다. 여러 다중 모달리티 벤치마크에 대한 광범위한 실험을 통해 이론적 주장을 검증한다.
