Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation
Created by
Haebom
Category
Empty
저자
Wongyu Kim, Hochang Lee, Sanghak Lee, Yoonsung Kim, Jaehyun Park
개요
M-Solomon은 쿼리 증강의 필요성을 적응적으로 판단하는 범용 멀티모달 임베더입니다. 쿼리 증강은 관련 문서를 찾기 위해 쿼리에 추가 정보를 덧붙여 쿼리의 의미를 더 명확하게 합니다. M-Solomon은 멀티모달 LLM(MLLM)을 활용하여 쿼리 증강이 필요한 경우 적절한 증강을 생성하고, 그렇지 않은 경우에는 증강 없이 임베딩을 수행합니다. 이를 통해 모든 쿼리에 대한 증강으로 인한 임베딩 지연을 줄이고, 성능 저하 가능성을 최소화합니다.
시사점, 한계점
•
시사점:
◦
쿼리 증강의 필요성을 동적으로 판단하여 효율적인 임베딩을 가능하게 함.
◦
멀티모달 환경에서 쿼리 증강을 효과적으로 수행함.
◦
기존 쿼리 증강 방식보다 빠른 임베딩 속도를 제공함.
•
한계점:
◦
훈련 데이터셋 내에서 쿼리를 쿼리 증강 필요 여부에 따라 두 그룹으로 나누는 방식의 일반화 가능성.
