본 논문은 이미지 이해와 생성을 통합하는 다중 모달 모델에 대한 연구로, 이미지 생성을 포함한 통합 프레임워크에 대한 최적의 모델 아키텍처와 훈련 방식에 대한 연구가 부족하다는 점을 지적합니다. 고품질 생성과 확장성에 있어 강력한 잠재력을 가진 자기회귀 및 확산 모델을 중심으로 이미지 표현, 모델링 목표, 훈련 전략을 포괄적으로 연구합니다. 기존 VAE 기반 표현 방식과 달리, 확산 트랜스포머를 사용하여 의미적으로 풍부한 CLIP 이미지 특징을 생성하는 새로운 방법을 제시하며, 이는 훈련 효율성과 생성 품질을 향상시킵니다. 또한, 먼저 이미지 이해에 대해, 그 다음 이미지 생성에 대해 순차적으로 사전 훈련하는 전략이 이미지 이해 능력을 유지하면서 강력한 이미지 생성 능력을 개발하는 데 실질적인 이점을 제공함을 보여줍니다. 다양한 장면, 개체, 인간의 제스처 등을 포함하는 다양한 캡션을 사용하여 GPT-4를 프롬프트하여 고품질 지시 튜닝 데이터셋 BLIP3o-60k를 만들고, 이를 바탕으로 최첨단 통합 다중 모달 모델인 BLIP3-o를 개발합니다. BLIP3-o는 이미지 이해 및 생성 작업에 걸쳐 대부분의 인기 벤치마크에서 우수한 성능을 달성하며, 모델, 코드, 가중치, 훈련 스크립트, 사전 훈련 및 지시 튜닝 데이터셋을 모두 오픈소스로 공개합니다.
