CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval

Created by

Haebom

저자

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Yiwei Ma, Jiayi Ji, Chenyi Lei, Han Li, Xiaoshuai Sun

💡 개요

본 연구는 참조 이미지와 조작 텍스트를 활용하는 조합 이미지 검색(CIR)에서 발생하는 표현 공간의 단편화 문제를 해결하기 위해 CSMCIR이라는 통합 표현 프레임워크를 제안합니다. 이 방법론은 멀티레벨 Chain-of-Thought(MCoT) 프롬프팅 전략을 통해 목표 이미지에 대한 의미론적으로 호환되는 캡션을 생성하고, 공유 파라미터를 사용하는 대칭 듀얼 타워 구조로 쿼리 및 목표 인코딩의 일관성을 확보하며, 동적인 메모리 뱅크 전략으로 고품질의 부정 샘플을 제공합니다. CSMCIR은 네 가지 벤치마크 데이터셋에서 최첨단 성능을 달성하며, 훈련 효율성도 우수함을 입증했습니다.

🔑 시사점 및 한계

•

멀티레벨 Chain-of-Thought(MCoT) 프롬프팅은 멀티모달 대형 언어 모델을 활용하여 목표 이미지에 대한 더 정확하고 유용한 캡션을 생성함으로써 표현 공간의 일관성을 높이는 데 기여합니다.

•

대칭 듀얼 타워 구조와 공유 파라미터 Q-Former는 쿼리와 목표 간의 특징 표현을 일치시켜 모달리티 간의 정렬 격차를 줄이고 검색 성능을 향상시킵니다.

•

제안된 방법론은 복잡한 실험 설정 없이도 뛰어난 성능과 효율성을 보여주며, 기존 CIR 방법론의 근본적인 한계를 효과적으로 극복합니다.

•

본 연구에서 제안된 메모리 뱅크 전략이 모델 상태 변화와 일관성을 유지하면서도 효과적인 부정 샘플을 제공하는 메커니즘에 대한 추가적인 탐구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage