본 논문은 대규모 비전-언어 모델(LVLMs)의 비효율성을 해결하기 위해, 시각적 개념 모델링 프레임워크인 VCM을 제안합니다. 현재 LVLMs는 이미지 전체를 토큰 단위로 처리하는 반면, 인간은 개념 단위로 정보를 분석하고 콘텐츠를 생성합니다. VCM은 비용이 많이 드는 개념 수준의 주석 없이, 다중 샘플 인스턴스 간의 암시적 대조 학습과 비전-언어 미세 조정을 활용하여 시각적 개념 모델을 구축합니다. 실험 결과, VCM은 다양한 이미지 이해 작업에서 성능을 유지하면서 계산 비용을 상당히 줄이는 것으로 나타났습니다 (예: LLaVA-1.5-7B의 경우 FLOP 85% 감소). 또한, VCM은 기존 시각적 개념 인식 작업에서 시각적 인코더의 성능을 향상시킵니다.
