대규모 언어 모델(LLM)을 기반으로 한 최근의 대규모 다중 모달 모델(LMM)은 교차 모델 이해와 생성을 단일 프레임워크로 통합합니다. 그러나 LMM은 여전히 정확한 이미지-텍스트 정렬을 달성하는 데 어려움을 겪고 있으며, 시각적 입력과 모순되는 텍스트 응답을 생성하거나 이미지-텍스트 프롬프트를 따르지 못하는 경향이 있습니다. 현재 솔루션은 외부 감독(예: 인간 피드백 또는 보상 모델)을 필요로 하며, 이해 또는 생성 중 한 방향의 작업만 처리합니다. 본 연구는 이해와 생성이 역 이중 작업이라는 관찰에 기반하여, LMM의 이해 및 생성 능력을 강화하기 위한 자기 감독 이중 보상 메커니즘을 제시합니다. 구체적으로, 하나의 작업 도메인에서 주어진 입력에 대해 여러 출력을 샘플링한 다음, 입력-출력 쌍을 반전하여 모델의 이중 가능성을 자기 보상으로 계산하여 최적화합니다. 시각적 이해 및 생성 벤치마크에 대한 광범위한 실험 결과는 제안된 방법이 외부 감독 없이도 모델의 성능을 효과적으로 향상시킬 수 있으며, 특히 이미지-텍스트 작업에서 현저한 개선을 달성함을 보여줍니다.
