본 논문은 비전-언어 모델(VLMs) 학습에 필요한 대규모 고품질 이미지-텍스트 쌍 데이터 확보의 어려움을 해결하기 위해, 텍스트 데이터만을 이용한 합성 데이터 생성 프레임워크를 제안합니다. 대규모 언어 모델(LLMs)을 활용하여 120만 개의 다양한 고품질 캡션을 생성하고(1단계), 47만1천 개의 캡션을 다회차 지시-튜닝 작업으로 가공하여 복잡한 추론을 지원합니다(2단계). 마지막으로 텍스트 캡션 표현을 시각적 표현으로 변환하여 합성 이미지 표현을 생성합니다(3단계). 이를 통해 실제 이미지 없이 사전 학습용 Unicorn-1.2M 및 지시-튜닝용 Unicorn-471K-Instruction 두 개의 데이터셋을 생성하며, 비용 효율적이고 확장 가능한 VLM 학습 솔루션을 제공합니다.
시사점, 한계점
•
시사점:
◦
실제 이미지 없이도 고품질의 다양한 VLM 학습 데이터를 생성하는 효율적인 방법 제시
◦
텍스트 데이터의 풍부함을 활용하여 VLM 학습의 비용 및 시간적 제약 극복 가능성 제시
◦
사전 학습 및 지시-튜닝에 모두 활용 가능한 두 가지 데이터셋 제공
◦
VLM 학습의 확장성 및 접근성 향상에 기여
•
한계점:
◦
합성 데이터의 질적 한계: 실제 이미지와 비교했을 때 시각적 정보의 정확성 및 다양성에 대한 검증 필요
◦
LLM의 성능 의존성: LLM의 성능에 따라 합성 데이터의 품질이 영향을 받을 수 있음
◦
합성 이미지의 현실성 부족: 실제 이미지와의 차이로 인해 모델 성능에 제한이 있을 수 있음
◦
지시-튜닝 데이터의 복잡성 수준: 다양한 유형의 복잡한 추론 과제에 대한 충분한 지원 여부에 대한 검증 필요
