본 논문은 다양한 모달리티의 데이터를 의미적 관련성을 통해 매핑하는 교차 모달 검색에서, 기존 접근 방식들이 데이터 쌍의 정렬을 암묵적으로 가정하고 존재하는 어노테이션 노이즈(noisy correspondence, NC)를 무시함으로써 성능 저하를 초래하는 문제점을 지적합니다. 이를 해결하기 위해, Tripartite learning with Semantic Variation Consistency (TSVC)라는 새로운 방법을 제시합니다. TSVC는 조정자(Coordinator), 전문가(Master), 보조자(Assistant) 세 가지 모델로 구성된 협력 학습 메커니즘을 사용하여, 보조자 모델이 다양한 데이터로 전문가 모델의 노이즈 레이블 예측을 지원하고, 상호 정보 변화에 기반한 소프트 레이블 추정 방법을 통해 새로운 샘플의 노이즈를 정량화하고 해당하는 소프트 레이블을 할당합니다. 또한, 강건성을 높이고 훈련 효율성을 높이기 위한 새로운 손실 함수를 제시합니다. 세 가지 널리 사용되는 데이터셋에 대한 실험 결과, TSVC는 노이즈 비율이 증가하더라도 검색 정확도에서 상당한 이점을 보이고 안정적인 훈련 성능을 유지함을 보여줍니다.
