Semantic-Consistent Bidirectional Contrastive Hashing for Noisy Multi-Label Cross-Modal Retrieval
Created by
Haebom
Category
Empty
저자
Likang Peng, Chao Su, Wenyuan Wu, Yuan Sun, Dezhong Peng, Xi Peng, Xu Wang
개요
본 논문은 이미지와 텍스트와 같은 서로 다른 모달리티 간의 효율적인 검색을 가능하게 하는 크로스 모달 해싱(CMH)에 대한 연구를 제시한다. 특히, 레이블 노이즈가 많고 부분적인 의미론적 중첩이 있는 멀티 레이블 데이터셋 환경에서의 CMH 성능 향상에 초점을 맞춘다. 이를 위해, (1) 크로스 모달 의미론적 일관성을 활용하여 샘플 신뢰도를 추정하고 노이즈 레이블의 영향을 줄이는 Cross-modal Semantic-Consistent Classification (CSCC) 모듈과, (2) 멀티 레이블 의미론적 중첩에 기반하여 동적으로 소프트 대조 샘플 쌍을 생성하여 적응형 대조 학습을 수행하는 Bidirectional Soft Contrastive Hashing (BSCH) 모듈로 구성된 Semantic-Consistent Bidirectional Contrastive Hashing (SCBCH) 프레임워크를 제안한다. 4개의 널리 사용되는 크로스 모달 검색 벤치마크에서 기존 SOTA 방법들을 능가하는 성능을 보였다.
시사점, 한계점
•
시사점:
◦
노이즈가 많은 멀티 레이블 데이터 환경에서 크로스 모달 해싱의 성능을 향상시키는 새로운 프레임워크 SCBCH 제안.
◦
샘플 신뢰도 추정을 통한 노이즈 레이블 영향 감소 및 멀티 레이블 데이터의 의미론적 중첩을 고려한 대조 학습을 통해 기존 방법론의 한계 극복.
