CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval

Fri, 08 May 2026 09:55:22 GMT

### 저자

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Yiwei Ma, Jiayi Ji, Chenyi Lei, Han Li, Xiaoshuai Sun

### 💡 개요

본 연구는 참조 이미지와 조작 텍스트를 활용하는 조합 이미지 검색(CIR)에서 발생하는 표현 공간의 단편화 문제를 해결하기 위해 CSMCIR이라는 통합 표현 프레임워크를 제안합니다. 이 방법론은 멀티레벨 Chain-of-Thought(MCoT) 프롬프팅 전략을 통해 목표 이미지에 대한 의미론적으로 호환되는 캡션을 생성하고, 공유 파라미터를 사용하는 대칭 듀얼 타워 구조로 쿼리 및 목표 인코딩의 일관성을 확보하며, 동적인 메모리 뱅크 전략으로 고품질의 부정 샘플을 제공합니다. CSMCIR은 네 가지 벤치마크 데이터셋에서 최첨단 성능을 달성하며, 훈련 효율성도 우수함을 입증했습니다.

### 🔑 시사점 및 한계

- 멀티레벨 Chain-of-Thought(MCoT) 프롬프팅은 멀티모달 대형 언어 모델을 활용하여 목표 이미지에 대한 더 정확하고 유용한 캡션을 생성함으로써 표현 공간의 일관성을 높이는 데 기여합니다.

- 대칭 듀얼 타워 구조와 공유 파라미터 Q-Former는 쿼리와 목표 간의 특징 표현을 일치시켜 모달리티 간의 정렬 격차를 줄이고 검색 성능을 향상시킵니다.

- 제안된 방법론은 복잡한 실험 설정 없이도 뛰어난 성능과 효율성을 보여주며, 기존 CIR 방법론의 근본적인 한계를 효과적으로 극복합니다.

- 본 연구에서 제안된 메모리 뱅크 전략이 모델 상태 변화와 일관성을 유지하면서도 효과적인 부정 샘플을 제공하는 메커니즘에 대한 추가적인 탐구가 필요할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2601.03728)