UniF$^2$ace는 미세한 얼굴 특징의 이해와 생성에 특화된 최초의 통합 다중 모달 모델(UMM)입니다. 기존 연구들이 주로 얼굴 특징의 대략적인 이해에 초점을 맞춘 것과 달리, UniF$^2$ace는 미세한 얼굴 특징까지 다루고 생성 능력까지 갖추도록 설계되었습니다. 130,000개의 이미지-텍스트 쌍과 100만 개의 질의응답 쌍으로 구성된 대규모 얼굴 데이터셋 UniF$^2$ace-130K를 자체 구축하고, 이를 바탕으로 두 가지 확산 기술과 2단계 전문가 혼합 아키텍처를 활용하여 모델을 학습시켰습니다. 이를 통해 이산 확산 점수 정합과 마스크 생성 모델 간의 이론적 연관성을 확립하고, 증거 하한선을 동시에 최적화하여 얼굴 세부 사항을 합성하는 능력을 향상시켰습니다. 토큰 수준과 시퀀스 수준의 전문가 혼합을 도입하여 이해 및 생성 작업 모두에 대한 효율적인 미세 입자 표현 학습을 가능하게 합니다. UniF$^2$ace-130K에 대한 광범위한 실험 결과, UniF$^2$ace는 기존 UMM 및 생성 모델보다 우수한 성능을 달성했습니다.
