본 논문은 손상된 오디오 녹음에서 누락된 부분을 복원하는 오디오 인페인팅(inpainting)을 위한 새로운 방법을 제시합니다. 기존의 파형 및 스펙트로그램 기반 확산 모델들은 짧은 간격에는 좋은 결과를 보이지만, 100밀리초(ms)를 초과하는 간격에서는 품질이 저하되는 경향이 있습니다. 본 연구에서는 사전 훈련된 오디오 토크나이저가 생성한 토큰화된 오디오 표현을 사용하는 이산 확산 모델링 기반의 새로운 인페인팅 방법을 제안합니다. 이 방법은 이산 잠재 공간에서 직접 생성 과정을 모델링하여 누락된 오디오의 안정적이고 의미적으로 일관된 복원을 가능하게 합니다. MusicNet 데이터셋을 사용하여 최대 300ms의 간격 지속 시간에 걸쳐 객관적 및 지각적 지표를 사용하여 방법을 평가하고, MTG 데이터셋에서 최대 500ms까지 간격 지속 시간을 확장하여 추가 평가를 수행했습니다. 실험 결과에 따르면, 특히 더 긴 간격의 경우 기존 기준 모델보다 경쟁력 있거나 우수한 성능을 달성하여 손상된 음악 녹음을 복원하는 강력한 솔루션을 제공합니다. 제안된 방법의 오디오 예시는 https://iftach21.github.io/ 에서 확인할 수 있습니다.
