본 논문은 다중 모달 이해를 위한 새로운 접근 방식인 CALM(Class-anchor-ALigned generative Modeling)을 제안합니다. 기존의 대조 학습 방식이 모달 불일치로 인해 어려움을 겪는 문제를 해결하기 위해, CALM은 클래스 확률 분포를 활용하여 각 모달의 표현을 정렬합니다. 클래스 앵커를 프롬프트로 사용하여 클래스 확률 분포를 생성하고 정렬하며, 교차 모달 확률적 변분 오토인코더를 통해 정렬의 불확실성을 모델링하여 모달 간의 심층적인 관계와 데이터 변화를 더 잘 포착합니다. 네 개의 벤치마크 데이터셋에서 실험한 결과, 특히 도메인 외 평가에서 기존 최고 성능 방법들을 상당히 능가하며, 우수한 일반화 성능을 보였습니다.
