합성 데이터를 사용한 Generative AI 성능 향상 전략이 중요해지고 있으며, 특히 언어 데이터에 비해 고품질의 이미지-텍스트 짝 데이터가 부족한 대규모 다중 모드 모델(LMM)에 유용합니다. 본 논문에서는 기존 LMM의 추론 실패 분석을 기반으로 합성 데이터 생성 방식을 제안합니다. 기존 LMM의 오류를 자동 분석하여 추론 실패를 수정하는 새로운 예시를 제안하고, 추가적인 필터링을 통해 고품질의 데이터를 생성합니다. 55만 개 이상의 예시를 포함하는 대규모 다중 모드 instruction tuning 데이터셋을 생성하고, 여러 하위 작업에서 LMM 성능 향상에 대한 실험 결과를 제시합니다. 합성 데이터로 학습된 모델은 동일한 양의 실제 데이터로 학습된 LMM을 능가하는 성능을 보여주며, LMM의 특정 추론 실패 모드를 타겟팅한 합성 데이터 생성의 높은 가치를 입증합니다. 데이터셋과 코드는 공개될 예정입니다.
