Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GEA: Generation-Enhanced Alignment for Text-to-Image Person Retrieval

Created by
  • Haebom
Category
Empty

저자

Hao Zou, Runqing Zhang, Xue Zhou, Jianxiao Zou

개요

Text-to-Image Person Retrieval (TIPR)의 한계를 극복하기 위해 제안된 Generation-Enhanced Alignment (GEA) 방법론에 대한 내용 요약. 텍스트 쿼리의 부정확성과 데이터셋의 한계로 인한 문제, 텍스트와 이미지 간의 본질적인 모달리티 격차를 해결하고자 함. GEA는 Text-Guided Token Enhancement (TGTE)와 Generative Intermediate Fusion (GIF) 두 가지 모듈을 포함하며, 확산 모델로 생성된 이미지를 중간 표현으로 활용하여 텍스트 의미를 풍부하게 하고 cross-modal alignment를 개선. 세 개의 TIPR 데이터셋(CUHK-PEDES, RSTPReid, ICFG-PEDES)에 대한 실험을 통해 방법론의 효과를 입증함.

시사점, 한계점

시사점:
확산 모델을 활용하여 텍스트-이미지 간의 모달리티 격차를 줄이고 cross-modal alignment 성능을 향상시킴.
생성된 이미지를 중간 표현으로 사용하여 텍스트의 의미를 풍부하게 함.
3개의 공개 데이터셋에서 실험을 통해 방법론의 효과를 검증함.
한계점:
논문에서 구체적인 한계점에 대한 언급은 없음.
제공된 정보만으로는 GEA 방법론의 계산 복잡성이나 실제 적용 시의 어려움에 대한 정보를 알 수 없음.
확산 모델의 사용으로 인한 추가적인 계산 비용 발생 가능성.
👍