SONAR: Spectral-Contrastive Audio Residuals for Generalizable Deepfake Detection
작성자
카테고리
Empty
저자
Ido Nitzan Hidekel, Gal lifshitz, Khen Cohen, Dan Raviv
💡 개요
본 논문은 딥페이크(DF) 오디오 탐지기의 일반화 성능 부족 문제를 해결하기 위해, 주파수 정보를 활용하는 새로운 프레임워크인 SONAR를 제안한다. SONAR은 오디오 신호를 저주파수와 고주파수 잔여물로 분리하여 학습하며, 주파수 교차 주의 메커니즘과 주파수 인식 J-S 대조 손실을 통해 탐지 성능을 높인다. 이를 통해 ASVspoof 2021 및 실제 환경 벤치마크에서 최첨단 성능을 달성했으며, 기존 모델보다 4배 빠르게 수렴하는 것을 보여준다.
🔑 시사점 및 한계
•
딥페이크 오디오 탐지에 있어 고주파수 잔여물의 중요성을 강조하며, 이를 효과적으로 학습하는 새로운 방법론을 제시한다.
•
주파수 정보를 명시적으로 활용하는 대조 학습 프레임워크는 기존 탐지 모델의 일반화 성능과 학습 속도를 크게 개선할 수 있다.
•
제안된 프레임워크는 표현 수준에서 작동하므로 아키텍처에 구애받지 않아 다양한 모델이나 다른 양식(modality)에도 쉽게 적용될 수 있다.
•
현재 연구는 오디오 딥페이크 탐지에 초점을 맞추고 있으나, 향후 다른 종류의 딥페이크 탐지나 다양한 신호 처리 작업으로의 확장 가능성을 탐색해야 한다.
