MDiTFace는 의미론적 마스크와 텍스트 설명을 사용하여 얼굴을 생성하는 모델입니다. 기존의 특징 융합 방식이 효과적인 상호 작용을 제공하지 못하는 문제를 해결하기 위해, MDiTFace는 통일된 토큰화 전략을 사용하여 의미론적 마스크와 텍스트 입력을 처리합니다. 또한, 새로운 다변량 변환기 블록을 통해 포괄적인 다중 모달 특징 상호 작용을 가능하게 합니다. 마스크 토큰과 시간 임베딩 간의 암묵적 종속성을 분리하는 새로운 분리된 주의 메커니즘을 설계하여 계산 비용을 줄이면서 성능을 유지합니다.
시사점, 한계점
•
시사점:
◦
의미론적 마스크와 텍스트를 기반으로 얼굴 생성 시 기존 방식의 한계를 극복하고 향상된 성능을 보임.
◦
통일된 토큰화 및 다변량 변환기 블록을 통해 효과적인 다중 모달 특징 상호 작용을 구현함.
