Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DetailFusion: A Dual-branch Framework with Detail Enhancement for Composed Image Retrieval

Created by
  • Haebom

저자

Yuxin Yang, Yinan Zhou, Yuxin Chen, Ziqi Zhang, Zongyang Ma, Chunfeng Yuan, Bing Li, Lin Song, Jun Gao, Peng Li, Weiming Hu

개요

본 논문은 조합 이미지 검색(CIR)에서 세부적인 시각적 변화나 복잡한 텍스트 지시사항을 처리하는 데 어려움을 겪는 기존의 조잡한 융합 방법의 한계를 극복하기 위해, 세부 정보를 강화한 CIR을 가능하게 하는 새로운 이중 분기 프레임워크인 DetailFusion을 제안합니다. DetailFusion은 이미지 편집 데이터셋에서 파생된 원자적 세부 변화 사전 정보와 세부 지향적 최적화 전략을 활용하여 세부 지향적 추론 분기를 개발하고, 각 고유한 다중 모드 쿼리의 세부 정보에 기반하여 전역 및 세부 기능을 동적으로 융합하는 적응형 기능 합성기를 설계합니다. 실험 결과, CIRR 및 FashionIQ 데이터셋에서 최첨단 성능을 달성함을 보여주며, CIR에 대한 세부 정보 향상의 효과와 도메인 간 적응성을 검증합니다.

시사점, 한계점

시사점:
세부 정보에 중점을 둔 새로운 CIR 프레임워크인 DetailFusion 제안.
이미지 편집 데이터셋을 활용한 원자적 세부 변화 사전 정보 활용.
세부 정보에 따라 전역 및 세부 기능을 동적으로 융합하는 적응형 기능 합성기 설계.
CIRR 및 FashionIQ 데이터셋에서 최첨단 성능 달성.
세부 정보 향상의 효과와 도메인 간 적응성 검증.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요할 수 있음.
특정 이미지 편집 데이터셋에 의존하는 부분이 존재할 수 있음.
더욱 다양하고 복잡한 쿼리에 대한 로버스트성 평가가 필요할 수 있음.
👍