Sign In

PromptReverb: Multimodal Room Impulse Response Generation Through Latent Rectified Flow Matching

Created by
  • Haebom
Category
Empty

저자

Ali Vosoughi, Yongyi Zang, Qihui Yang, Nathan Peak, Randal Leistikow, Chenliang Xu

개요

PromptReverb는 몰입형 가상 음향 환경을 만들기 위한 룸 임펄스 응답(RIR) 생성을 위한 2단계 생성 프레임워크입니다. 이 프레임워크는 대역 제한 RIR을 전체 대역 품질(48kHz)로 업샘플링하는 변형 자동 인코더와 자연어로 된 설명에서 RIR을 생성하는 수정된 흐름 매칭 기반 조건부 확산 변환기 모델을 결합합니다.

시사점, 한계점

시사점:
기존 방법에 비해 우수한 지각적 품질과 음향 정확도를 가진 RIR 생성.
가상 현실, 건축 음향, 오디오 제작 등 유연하고 고품질 RIR 합성이 필수적인 분야에 적용 가능.
RT60 오차 평균 8.8%로, 기존 방법 대비 성능 향상.
보다 현실적인 룸 음향 파라미터 생성.
한계점:
논문에 명시된 한계점은 없음.
👍