본 논문은 CLAP과 CAVP와 같은 기존의 대조 학습 기반 다중 모달 이해 및 생성 모델들이 단일 대조 손실 함수를 사용하여 각 모달 간 상호 작용의 양방향성과 노이즈를 고려하지 못하는 한계를 지적한다. 이를 해결하기 위해, 경량 생성 모듈을 대조 공간에 통합한 새로운 방법인 DiffGAP을 제안한다. DiffGAP은 양방향 확산 과정을 통해 텍스트와 비디오 임베딩을 오디오 임베딩을 조건으로 디노이징하고 그 반대로도 수행하여, 보다 정교하고 강건한 다중 모달 상호 작용을 가능하게 한다. VGGSound와 AudioCaps 데이터셋에서의 실험 결과를 통해, DiffGAP이 비디오/텍스트-오디오 생성 및 검색 작업에서 성능을 크게 향상시킴을 보여주며, 다중 모달 이해 및 생성 능력 향상에 효과적임을 확인한다.
