M$^2$IV: Towards Efficient and Fine-grained Multimodal In-Context Learning via Representation Engineering
Created by
Haebom
저자
Yanshu Li, Yi Cao, Hongyang He, Qisen Cheng, Xiang Fu, Xi Xiao, Tianyang Wang, Ruixiang Tang
개요
본 논문은 대규모 시각-언어 모델(LVLMs)의 다중 모달 컨텍스트 학습(ICL) 효율성을 높이기 위한 새로운 표현 엔지니어링 기법인 M²IV를 제안합니다. M²IV는 토큰 기반의 명시적인 데모 대신 학습 가능한 다중 모달 컨텍스트 벡터(Multimodal In-context Vectors)를 LVLMs의 잔차 스트림에 직접 주입하여, 다중 모달 입력의 토큰 집약적인 특성과 복잡한 교차 모달 몇-샷 추론 문제를 해결합니다. 여러 헤드 어텐션(MHA)과 다층 퍼셉트론(MLP)의 역할 분석을 기반으로 설계된 학습 전략을 통해 미세한 의미적 증류와 강력한 교차 모달 표현 학습을 수행합니다. 또한, 훈련된 M²IV들을 저장하고 필요에 따라 불러올 수 있는 VLibrary를 도입하여 사용 편의성을 높였습니다. 실험 결과, M²IV는 기존 ICL 및 다른 표현 엔지니어링 기법들보다 우수한 성능을 보이며, 평균 3.74%의 정확도 향상과 효율성 증대를 달성했습니다.
시사점, 한계점
•
시사점:
◦
다중 모달 컨텍스트 학습의 효율성을 획기적으로 개선하는 새로운 방법 제시
◦
토큰 오버헤드 감소를 통한 다양한 작업 및 LVLMs에 대한 확장성 증대
◦
사용자 맞춤형 LVLMs 조정을 위한 VLibrary 제공
◦
기존 방법 대비 평균 3.74%의 정확도 향상 달성
•
한계점:
◦
VLibrary의 장기적인 유지보수 및 관리에 대한 고려 필요
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
◦
특정 LVLMs에 대한 최적화 가능성 및 다른 아키텍처로의 확장성에 대한 추가적인 검증 필요
