Melody or Machine: Detecting Synthetic Music with Dual-Stream Contrastive Learning
Created by
Haebom
Category
Empty
저자
Arnesh Batra, Dev Sharma, Krish Thukral, Ruhani Bhatia, Naman Batra, Aditya Gautam
개요
본 논문은 급증하는 AI 음악 생성 기술로 인한 예술적 진정성 및 저작권 침해 위협에 대응하기 위한 탐지 방법 개발의 필요성을 강조한다. 기존 모델의 일반화 실패 문제를 해결하기 위해, 다양한 생성 모델을 포괄하는 대규모 벤치마크 MoM(Melody or Machine)과 새로운 듀얼 스트림 탐지 아키텍처 CLAM(Cross-aggregation Learnable Audio Model)을 제안한다. CLAM은 보컬과 악기 요소 간의 미묘한 불일치를 감지하여 합성 음악을 식별하며, MoM 벤치마크에서 SOTA 성능을 달성했다.
시사점, 한계점
•
시사점:
◦
새로운 대규모 벤치마크 MoM을 통해 보다 일반화된 탐지 모델 개발을 위한 토대를 마련함.
◦
CLAM 아키텍처는 보컬과 악기 스트림 간의 불일치를 활용하여 합성 음악을 효과적으로 탐지하는 새로운 접근 방식을 제시함.
◦
CLAM은 MoM 벤치마크에서 SOTA를 달성하며, 합성 음악 탐지 분야의 발전을 이끌었음.
