Xiulong Liu, Anurag Kumar, Paul Calamia, Sebastia V. Amengual, Calvin Murdock, Ishwarya Ananthabhotla, Philip Robinson, Eli Shlizerman, Vamsi Krishna Ithapu, Ruohan Gao
개요
본 논문은 혼합 현실(Mixed Reality) 애플리케이션에서 실감나는 공간 음향 경험을 제공하기 위한 새로운 프레임워크인 xRIR을 제시합니다. 기존의 룸 임펄스 응답(RIR) 추정 방법들이 특정 환경에만 국한되는 한계를 극복하고자, 다양한 기하학적 구조와 표면 재질을 가진 새로운 공간에 일반화될 수 있는 모델을 개발하는 것을 목표로 합니다. xRIR은 파노라마 깊이 이미지에서 공간적 맥락을 포착하는 기하학적 특징 추출기와 소수의 참조 RIR 샘플에서 상세한 음향 특징을 추출하는 RIR 인코더를 결합하여, 최소한의 추가 측정만으로 어떤 환경의 공간 음향 경험도 재구성합니다. 260개의 방에서 30만 개 이상의 RIR을 고충실도로 시뮬레이션한 새로운 데이터셋 ACOUSTICROOMS를 소개하며, 실험을 통해 기존 방법들을 능가하는 성능을 보임과 동시에 실제 환경에서의 sim-to-real 전이 성공을 통해 일반화 가능성과 데이터셋의 현실성을 입증합니다.
시사점, 한계점
•
시사점:
◦
다양한 환경에 일반화 가능한 룸 임펄스 응답(RIR) 예측 프레임워크 xRIR 제시
◦
고충실도 RIR 시뮬레이션 데이터셋 ACOUSTICROOMS 공개
◦
기존 방법 대비 우수한 성능 및 실제 환경 적용 성공을 통한 일반화 가능성 입증
◦
혼합 현실 애플리케이션에서 실감나는 공간 음향 경험 구현에 기여
•
한계점:
◦
ACOUSTICROOMS 데이터셋이 시뮬레이션 데이터에 기반하므로, 실제 환경의 복잡성을 완전히 반영하지 못할 가능성 존재
