본 논문은 사전 훈련된 모델이 완전히 포착할 수 없는 도메인 특정적이고 세분화되며 빠르게 진화하는 지식에 대한 접근을 요구하는 텍스트-이미지 생성 문제를 다룹니다. 기존의 검색 증강 생성(RAG) 방법들은 전역적으로 관련된 이미지를 검색하려고 시도하지만, 복잡한 사용자 질의의 모든 원하는 요소를 포함하는 단일 이미지가 없는 경우 실패합니다. 본 논문에서는 질의와 이미지를 하위 차원 구성 요소로 분해하여 하위 질의 인식 검색 및 생성을 가능하게 하는 새로운 프레임워크인 교차 모달 RAG를 제안합니다. 제안하는 방법은 하위 차원의 희소 검색과 밀집 검색을 결합하는 하이브리드 검색 전략을 도입하여 각각 질의의 상호 보완적인 측면에 기여하는 파레토 최적 이미지 집합을 식별합니다. 생성 중에 다중 모달 대규모 언어 모델은 특정 하위 질의에 정렬된 관련 시각적 특징을 선택적으로 조건화하여 하위 질의 인식 이미지 합성을 보장합니다. MS-COCO, Flickr30K, WikiArt, CUB 및 ImageNet-LT에 대한 광범위한 실험은 교차 모달 RAG가 검색 및 생성 품질 모두에서 기존 기준선을 크게 능가하면서 높은 효율성을 유지함을 보여줍니다.
