From Pixels to Posts: Retrieval-Augmented Fashion Captioning and Hashtag Generation
Created by
Haebom
Category
Empty
저자
Moazzam Umer Gondal, Hamad Ul Qudous, Daniya Siddiqui, Asma Ahmad Farhan
개요
본 논문은 멀티 의류 감지, 속성 추론, 대규모 언어 모델(LLM) 프롬프팅을 결합한 검색 증강 프레임워크를 사용하여 패션 이미지에 대한 자동 캡션 및 해시태그 생성을 소개한다. 이 시스템은 시각적으로 기반하고 설명적이며 스타일리시하게 흥미로운 텍스트를 생성하여, 속성 충실도와 도메인 일반화에 문제가 있는 end-to-end 캡션 생성기의 한계를 극복하는 것을 목표로 한다. 이 파이프라인은 YOLO 기반 감지기를 사용하여 멀티 의류 위치를 파악하고, k-평균 클러스터링을 사용하여 지배적인 색상을 추출하며, 구조화된 제품 인덱스를 기반으로 CLIP-FAISS 검색 모듈을 사용하여 직물 및 성별 속성을 추론한다. 이러한 속성은 검색된 스타일 예제와 함께 LLM이 인간과 유사한 캡션과 상황에 맞는 풍부한 해시태그를 생성하도록 안내하는 팩트 증거 팩을 생성한다. BLIP 모델은 비교를 위한 감독된 기준 모델로 사용된다. 실험 결과는 YOLO 감지기가 9가지 의류 범주에 대해 mAP@0.5에서 0.71을 얻는다는 것을 보여준다. RAG-LLM 파이프라인은 표현적인 속성 정렬 캡션을 생성하고 해시태그 생성에서 50% 임계값에서 전체 범위를 갖는 평균 속성 범위 0.80을 달성하는 반면, BLIP는 더 높은 어휘 중첩과 더 낮은 일반화를 보인다. 검색 증강 접근 방식은 더 나은 사실적 근거, 환각 감소, 다양한 의류 도메인에서 확장 가능한 배포를 위한 큰 잠재력을 보여준다. 이러한 결과는 자동화되고 시각적으로 기반한 패션 콘텐츠 생성에 효과적이고 해석 가능한 패러다임으로서의 검색 증강 생성을 보여준다.
