본 논문은 텍스트, 비디오, 참조 오디오의 여러 입력 모달리티로부터 고품질 음성을 합성하는 다중 모달리티-음성 생성을 다룹니다. AlignDiT라는 다중 모달리티 정렬 확산 변환기를 제안하여, 음성 명료도, 오디오-비디오 동기화, 자연스러운 음성, 참조 화자와의 음성 유사성 문제를 해결합니다. AlignDiT는 DiT 아키텍처의 문맥 내 학습 능력을 기반으로 하며, 다중 모달리티 표현을 정렬하기 위한 세 가지 전략을 탐색합니다. 또한, 음성 합성 중 각 모달리티의 정보를 적응적으로 균형을 맞추는 새로운 다중 모달리티 분류기-프리 가이던스 메커니즘을 도입합니다.
