본 논문은 단일 모드 생성 모델에서 관찰되었던 모델 붕괴 현상을 다중 모드(시각-언어) 생성 시스템으로 확장하여 연구합니다. 시각-언어 모델(VLMs)과 텍스트-이미지 확산 모델을 포함한 다중 모델의 반복적인 생성-훈련 루프를 통해 다중 모드 상황에서의 모델 붕괴 특성을 분석합니다. 단일 모드 모델과는 달리, 시각-언어 정렬 개선 및 VLM 이미지 캡션 작업의 분산 증가와 같은 특징을 보이는 것을 발견하였으며, 디코딩 예산 증가, 모델 다양성 증가, 고정된 모델을 이용한 재라벨링과 같은 접근 방식이 모델 붕괴를 효과적으로 완화할 수 있음을 보여줍니다. 이 연구는 자기 개선형 다중 에이전트 AI 시스템에서 모델 붕괴 위험 감소 및 강력한 다중 모드 합성 데이터셋 관리를 위한 초기 통찰력과 실용적인 지침을 제공합니다.
