본 논문은 대규모 비전-언어 모델(LVLM)의 훈련 데이터에서 나타나는 긴꼬리(Long-Tail) 문제를 해결하기 위한 적응형 데이터 개선 프레임워크(ADR)를 제안합니다. 기존 연구들이 주로 CLIP이나 ViT와 같은 전통적인 VLM 아키텍처와 특정 작업에 초점을 맞춘 것과 달리, 본 논문은 LLaVA와 같은 LVLM과 시각적 질문 응답, 시각적 추론과 같은 더 일반적인 작업에 초점을 맞춥니다. ADR은 데이터 재균형(DR)과 데이터 합성(DS) 두 단계로 구성됩니다. DR 단계에서는 개체 분포에 기반하여 중복 데이터를 적응적으로 재균형하고, DS 단계에서는 잡음 제거 확산 확률 모델(DDPM)과 부족한 이미지를 활용하여 과소 대표된 부분을 보완합니다. 11개의 벤치마크에 대한 종합적인 평가를 통해 ADR이 LLaVA 1.5의 평균 성능을 훈련 데이터 양을 늘리지 않고 4.36% 향상시키는 것을 보여줍니다.
