본 논문은 대규모 비전-언어 모델(LVLMs)의 다중 모드 맥락 학습(ICL) 효율성을 높이기 위한 새로운 표현 엔지니어링 기법인 M$^2$IV를 제안합니다. 기존 ICL의 토큰 집약적인 특성과 복잡한 교차 모드 퓨샷 추론 문제를 해결하기 위해, M$^2$IV는 명시적인 토큰 수준 데모 대신 학습 가능한 다중 모드 맥락 벡터(Multimodal In-context Vectors)를 LVLMs의 잔차 스트림에 직접 주입합니다. 다중 헤드 어텐션(MHA)과 다층 퍼셉트론(MLP)의 역할 분석을 통해, 미세한 의미적 증류와 강력한 교차 모드 표현 학습을 가능하게 하는 훈련 전략을 설계했습니다. M$^2$IV는 다양한 작업과 LVLMs에서 성능을 향상시키고 토큰 오버헤드를 크게 줄여 많은 샷 시나리오로의 확장성을 높입니다. 또한, 훈련된 M$^2$IV들을 저장하고 검색하여 활용할 수 있는 VLibrary를 도입하여 사용 편의성을 높였습니다. 실험 결과, M$^2$IV는 기존 ICL 및 기존 표현 엔지니어링 기법보다 우수한 성능을 보이며, 평균 정확도 3.74% 향상과 효율성 개선을 달성했습니다.
