본 논문은 통합 다중 모달 모델(UMM)의 생성 및 이해 성능 향상을 위한 효율적인 후처리 방법인 재구성 정렬(RecA)을 제안합니다. 기존 UMM 학습은 캡션이 시각적 세부 정보를 놓치는 이미지-텍스트 쌍에 의존하는 한계가 있습니다. RecA는 캡션 없이 시각적 이해 인코더 임베딩을 밀집된 "텍스트 프롬프트"로 활용하여 UMM을 자체 시각적 이해 임베딩으로 조건화하고, 자기 지도 학습 기반 재구성 손실을 통해 입력 이미지를 재구성하도록 최적화함으로써 이해와 생성을 다시 정렬합니다. RecA는 다양한 UMM 아키텍처(자기회귀, 마스크 자기회귀, 확산 기반)에 적용 가능하며, GenEval, DPGBench, ImgEdit, GEdit 등 다양한 벤치마크에서 성능 향상을 보였습니다. 단 27 GPU 시간의 후처리로 상당한 성능 향상을 달성하여, 대규모 오픈소스 모델을 능가하는 효율적이고 일반적인 UMM 후처리 정렬 전략임을 보여줍니다.
