Securing the Floor and Raising the Ceiling: A Merging-based Paradigm for Multi-modal Search Agents

Created by

Haebom

저자

Zhixiang Wang, Jingxuan Xu, Dajun Chen, Yunfang Wu, Wei Jiang, Yong Li

💡 개요

본 논문은 기존 Vision-Language Model (VLM) 기반 다중 모달 검색 에이전트의 높은 훈련 비용, 불안정성, 콜드 스타트 문제를 해결하기 위해 훈련 없는 패러다임을 제안합니다. 텍스트 기반 검색 에이전트와 VLM을 효과적으로 융합하는 모델 병합 기법을 통해 별도의 다중 모달 훈련 데이터 없이도 자율적인 검색 능력을 부여합니다. 특히, 최적 뇌 병합(OBM)을 통해 모델 간 파라미터 간섭을 최소화하고 작업별 중요 파라미터를 선별하여 성능을 최적화합니다.

🔑 시사점 및 한계

•

훈련 비용 절감 및 범용성 확보: 모델 병합을 통해 사전 훈련된 VLM을 재훈련 없이도 다중 모달 검색 에이전트로 활용할 수 있어 훈련 비용을 크게 절감하고 콜드 스타트 문제를 완화합니다.

•

성능 향상 및 효율적인 학습: 최적 뇌 병합(OBM)은 중요 파라미터에 집중함으로써 제로샷 성능을 향상시키고, 기존 VLM 초기화 방식보다 더 빠르고 높은 성능에 도달하도록 돕습니다.

•

한계점: 모델 병합의 효과는 융합되는 두 모델의 상호 연관성 및 태스크의 복잡성에 따라 달라질 수 있으며, OBM 알고리즘 또한 적절한 보정 샘플셋 선정에 영향을 받을 수 있습니다.

PDF 보기

Made with Slashpage