[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MAVOS-DD: Multilingual Audio-Video Open-Set Deepfake Detection Benchmark

Created by
  • Haebom

저자

Florinel-Alin Croitoru, Vlad Hondru, Marius Popescu, Radu Tudor Ionescu, Fahad Shahbaz Khan, Mubarak Shah

개요

다국어 오디오-비디오 딥페이크 탐지에 대한 최초의 대규모 오픈셋 벤치마크를 제시합니다. 본 데이터셋은 8개 언어에 걸쳐 250시간 이상의 실제 및 가짜 비디오를 포함하며, 60%가 생성된 데이터입니다. 각 언어에 대해, 생성된 콘텐츠의 품질을 기반으로 선택된 7개의 서로 다른 딥페이크 생성 모델을 사용하여 가짜 비디오를 생성했습니다. 훈련 중에는 선택된 생성 모델과 언어의 하위 집합만 사용할 수 있도록 훈련, 검증 및 테스트 분할을 구성하여 여러 가지 어려운 오픈셋 평가 설정을 만듭니다. 최근 문헌에서 제안된 다양한 사전 훈련 및 미세 조정된 딥페이크 탐지기를 사용하여 실험을 수행했습니다. 결과는 최첨단 탐지기가 오픈셋 시나리오에서 테스트될 때 현재 성능 수준을 유지할 수 없음을 보여줍니다. 데이터와 코드는 https://huggingface.co/datasets/unibuc-cs/MAVOS-DD 에서 공개적으로 공개합니다.

시사점, 한계점

시사점: 다국어 오디오-비디오 딥페이크 탐지에 대한 대규모 오픈셋 벤치마크 데이터셋 MAVOS-DD를 제공하여, 현존 딥페이크 탐지 기술의 한계를 명확히 보여줍니다. 향후 연구를 위한 중요한 기준을 제시합니다.
한계점: 현재 탐지기의 오픈셋 환경에서의 성능 저하 원인에 대한 심층적인 분석이 부족합니다. 다양한 딥페이크 생성 모델과 언어의 조합에 따른 성능 변화에 대한 상세한 분석이 필요합니다. 데이터셋의 균형 및 대표성에 대한 추가적인 검토가 필요할 수 있습니다.
👍