본 논문은 통합된 비전-언어 모델(VLMs)에서 이해와 생성 작업 간의 일반화를 체계적으로 조사합니다. 이해와 생성 작업을 혼합하여 학습하는 통합 아키텍처가 상호 향상을 가능하게 한다는 가설을 검증하기 위해, 실제 시나리오와 밀접하게 연관된 데이터셋을 설계하고 다양한 통합 VLM 아키텍처를 평가합니다. 주요 결과는 다음과 같습니다: 혼합 데이터로 학습된 통합 VLMs는 다양한 아키텍처에서 이해 및 생성 작업 모두에 상호 이점을 보이며, 이는 데이터 증가에 따라 확장 가능합니다. 다중 모드 입력 및 출력 공간 간의 정렬이 향상될수록 일반화 성능이 향상됩니다. 생성 작업 중 획득한 지식은 이해 작업으로 전이될 수 있으며, 이러한 작업 간 일반화는 모달리티 어댑터를 넘어 기본 언어 모델 내에서 발생합니다. 결론적으로, VLMs에서 이해와 생성을 통합하는 것이 중요함을 강조하고, 통합 VLMs의 설계 및 최적화를 위한 귀중한 통찰력을 제공합니다.
