본 논문은 사전 훈련된 오디오 생성 모델을 활용하여 비디오와 동기화된 Foley 합성을 수행하는 새로운 방법인 SpecMaskFoley를 제안합니다. 기존 ControlNet 기반 Foley 합성 방법의 한계점인 수동으로 정의된 시간적 조건과 사전 훈련된 모델과의 불일치 문제를 해결하기 위해, 주파수 인식 시간적 특징 정렬기를 사용하여 SpecMaskGIT 모델을 비디오와 동기화된 Foley 합성에 적용합니다. 이를 통해 복잡한 조건화 메커니즘 없이도 우수한 성능을 달성하며, 기존의 from-scratch 모델을 능가하는 결과를 보여줍니다.
시사점, 한계점
•
시사점:
◦
사전 훈련된 모델을 효과적으로 활용하여 Foley 합성의 효율성을 높였습니다.
◦
ControlNet 기반 Foley 합성의 성능을 크게 향상시켜 from-scratch 모델과의 성능 격차를 줄였습니다.
◦
주파수 인식 시간적 특징 정렬기를 통해 복잡한 조건화 메커니즘 없이도 우수한 성능을 달성했습니다.
