본 논문은 고품질의 시간적으로 일관된 비디오-오디오 합성을 위한 새로운 프레임워크인 Timestep-Adaptive Representation Alignment with Onset-Aware Conditioning (TARO)를 소개합니다. Flow-based transformers를 기반으로 구축되었으며, 두 가지 주요 혁신을 포함합니다. (1) Timestep-Adaptive Representation Alignment (TRA)는 노이즈 스케줄에 따라 정렬 강도를 조정하여 잠재 표현을 동적으로 정렬하여 부드러운 발전과 향상된 충실도를 보장합니다. (2) Onset-Aware Conditioning (OAC)는 오디오 관련 시각적 순간의 날카로운 이벤트 기반 마커 역할을 하는 시작 신호를 통합하여 동적 시각적 이벤트와의 동기화를 향상시킵니다. VGGSound 및 Landscape 데이터 세트에 대한 광범위한 실험을 통해 TARO는 이전 방법보다 우수한 성능을 보였으며, Frechet Distance (FD)는 53% 감소, Frechet Audio Distance (FAD)는 29% 감소, 정렬 정확도는 97.19%를 달성하여 뛰어난 오디오 품질과 동기화 정확도를 보여줍니다.
