기존 오디오 딥페이크 탐지 프레임워크는 새로운 딥페이크 공격에 직면했을 때 성능이 저하됩니다. 제한된 수의 이전 데이터 샘플을 사용하여 모델을 업데이트하는 리허설 기반의 지속적 학습(CL)은 새로운 정보를 통합하면서 이전 지식을 유지하는 데 도움이 됩니다. 그러나 기존의 리허설 기법은 오디오 특징의 다양성을 효과적으로 포착하지 못하여 편향을 도입하고 망각의 위험을 증가시킵니다. 이러한 문제를 해결하기 위해 본 논문에서는 오디오 딥페이크 탐지를 위한 리허설 기반 CL 접근 방식인 보조 정보 샘플링을 이용한 리허설(RAIS)을 제안합니다. RAIS는 보조 레이블을 생성하는 레이블 생성 네트워크를 사용하여 메모리 버퍼에 대한 다양한 샘플 선택을 안내합니다. 광범위한 실험 결과, RAIS는 최첨단 방법보다 우수한 성능을 보이며 5가지 경험에 걸쳐 평균 동등 오류율(EER) 1.953%를 달성했습니다. 코드는 https://github.com/falihgoz/RAIS 에서 이용 가능합니다.
시사점: 보조 정보 샘플링을 이용한 리허설(RAIS) 기법이 기존 오디오 딥페이크 탐지의 한계를 극복하고, 지속적인 학습 환경에서 높은 성능을 보임을 실험적으로 증명. 최첨단 성능 달성 (평균 EER 1.953%). 공개된 코드를 통해 재현성 확보 가능.
•
한계점: 제안된 방법의 일반화 성능에 대한 추가적인 검증 필요. 다양한 종류의 딥페이크 공격에 대한 로버스트니스(robustness) 추가 연구 필요. 레이블 생성 네트워크의 성능에 따라 전체 시스템의 성능이 영향 받을 수 있음. 실제 환경에서의 성능 평가가 부족할 수 있음.
