UniF²ace는 미세한 얼굴 특징 이해와 생성을 위해 특별히 고안된 최초의 통합 다중 모드 모델(UMM)입니다. 기존 연구의 한계인 조잡한 얼굴 특징 이해 및 생성 능력 부족을 극복하기 위해, 130,000개의 이미지-텍스트 쌍과 백만 개의 질문-답변 쌍을 포함하는 대규모 얼굴 데이터셋 UniF²ace-130K를 자체 구축했습니다. 이를 바탕으로, 두 가지 상호 이익적인 확산 기법과 2단계 전문가 혼합 아키텍처를 활용하여 UniF²ace를 학습시켰습니다. 특히, 이산 확산 점수 매칭과 마스크 생성 모델 간의 이론적 연결을 확립하여 두 증거 하한선을 동시에 최적화함으로써 얼굴 세부 사항을 합성하는 모델의 능력을 크게 향상시켰습니다. 토큰 수준 및 시퀀스 수준 전문가 혼합을 도입하여 이해 및 생성 작업 모두에 대한 효율적인 미세 입자 표현 학습을 가능하게 했습니다. UniF²ace-130K에 대한 광범위한 실험 결과, UniF²ace는 기존 UMM 및 생성 모델을 능가하여 이해 및 생성 작업 모두에서 우수한 성능을 달성했습니다.
