Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GENIUS: A Generative Framework for Universal Multimodal Search

Created by
  • Haebom

저자

Sungyeon Kim, Xinliang Zhu, Xiaofan Lin, Muhammet Bastan, Douglas Gray, Suha Kwak

개요

본 논문은 다양한 모달리티와 도메인에서 다양한 작업을 지원하는 범용 생성 검색 프레임워크인 GENIUS를 제안합니다. 기존의 임베딩 기반 검색 방법의 효율적인 대안으로, 쿼리 기반의 대상 데이터 식별자(ID)를 생성하는 생성 검색 방식을 채택합니다. GENIUS는 모달리티와 의미를 모두 인코딩하는 이산 ID로 다모달 데이터를 변환하는 모달리티 분리 의미 양자화를 도입합니다. 또한, 쿼리와 그 대상 간의 보간을 통해 다양한 쿼리 형태에 적응할 수 있도록 쿼리 증강을 제안합니다. M-BEIR 벤치마크 평가 결과, 기존 생성 방법보다 성능이 훨씬 우수하며, 데이터베이스 크기에 관계없이 높은 검색 속도를 유지합니다. 추가적인 재순위 지정을 통해 임베딩 기반 방법에 근접한 결과를 효율성을 유지하면서 달성합니다.

시사점, 한계점

시사점:
다양한 모달리티와 도메인에서 효율적이고 범용적인 생성 검색 프레임워크를 제공합니다.
기존 생성 검색 방법의 성능 한계를 극복하고 임베딩 기반 방법에 근접한 성능을 달성합니다.
데이터베이스 크기에 관계없이 일관된 고속 검색을 제공합니다.
모달리티 분리 의미 양자화와 쿼리 증강 기법을 통해 일반화 성능을 향상시킵니다.
한계점:
임베딩 기반 방법에 비해 일부 경우 성능 차이가 존재할 수 있습니다 (추가적인 재순위 지정 필요).
제안된 방법의 일반화 성능에 대한 추가적인 실험 및 분석이 필요할 수 있습니다.
특정 모달리티나 도메인에 대한 최적화가 추가적으로 필요할 수 있습니다.
👍