본 논문은 대규모 고품질 이미지-텍스트 데이터에 대한 의존성으로 인해 성능이 제한되는 비전-언어 모델(VLMs)의 한계를 해결하기 위해, 수동으로 정제된 이미지-텍스트 쌍이나 선호도 주석 없이 비전-언어 정렬을 향상시키는 새로운 프레임워크인 SVP(Sampling-based Visual Projection)를 제안합니다. SVP는 소량의 수동으로 선택된 이미지, 자체 캡션 생성, 그리고 사전 훈련된 그라운딩 모델을 피드백 메커니즘으로 활용하여 VLMs의 잠재 정보를 유도합니다. 캡션 생성, 참조, 시각적 질문 응답, 멀티태스킹, 환각 제어, 객체 재현 등 6개 영역에서 평가한 결과, 캡션 생성 작업에서 평균 14% 향상, 객체 재현에서 최대 12% 증가, 환각 현상의 상당한 감소를 보이며 질문 응답 기능은 유지했습니다. SVP를 사용하면 소규모 VLM이 5배 큰 모델과 유사한 환각 감소 효과를 달성하고, 초기 참조 기능이 부족한 VLM은 성능이 두 배 이상 향상되어 두 배 크기의 모델과 유사한 수준에 도달합니다.
