본 논문은 고충실도 및 시간적 일관성을 갖는 비디오-오디오 합성을 위한 새로운 프레임워크인 Timestep-Adaptive Representation Alignment with Onset-Aware Conditioning (TARO)를 제시합니다. 안정적인 훈련과 향상된 동기화 및 오디오 품질을 위한 연속적인 변환을 제공하는 flow-based transformers를 기반으로, TARO는 두 가지 핵심적인 혁신을 도입합니다. 첫째, Timestep-Adaptive Representation Alignment (TRA)는 노이즈 스케줄에 따라 정렬 강도를 조정하여 잠재 표현을 동적으로 정렬하여 부드러운 진화와 향상된 충실도를 보장합니다. 둘째, Onset-Aware Conditioning (OAC)은 오디오와 관련된 시각적 순간의 날카로운 이벤트 기반 마커 역할을 하는 onset 큐를 통합하여 동적인 시각적 이벤트와의 동기화를 향상시킵니다. VGGSound 및 Landscape 데이터셋에 대한 광범위한 실험을 통해 TARO가 기존 방법보다 우수하며, Frechet Distance (FD)는 약 53% 낮고, Frechet Audio Distance (FAD)는 29% 낮고, Alignment Accuracy는 97.19%에 달하는 등 우수한 오디오 품질과 동기화 정밀도를 보여줍니다.
