DetailFusion: A Dual-branch Framework with Detail Enhancement for Composed Image Retrieval
Created by
Haebom
저자
Yuxin Yang, Yinan Zhou, Yuxin Chen, Ziqi Zhang, Zongyang Ma, Chunfeng Yuan, Bing Li, Lin Song, Jun Gao, Peng Li, Weiming Hu
개요
본 논문은 조합 이미지 검색(CIR)에서 세부적인 시각적 변화나 복잡한 텍스트 지시사항을 처리하는 데 어려움을 겪는 기존의 조잡한 융합 방법의 한계를 극복하기 위해, 세부 정보를 강화한 CIR을 가능하게 하는 새로운 이중 분기 프레임워크인 DetailFusion을 제안합니다. DetailFusion은 이미지 편집 데이터셋에서 파생된 원자적 세부 변화 사전 정보와 세부 지향적 최적화 전략을 활용하여 세부 지향적 추론 분기를 개발하고, 각 고유한 다중 모드 쿼리의 세부 정보에 기반하여 전역 및 세부 기능을 동적으로 융합하는 적응형 기능 합성기를 설계합니다. 실험 결과, CIRR 및 FashionIQ 데이터셋에서 최첨단 성능을 달성함을 보여주며, CIR에 대한 세부 정보 향상의 효과와 도메인 간 적응성을 검증합니다.