Deepfake-Eval-2024: A Multi-Modal In-the-Wild Benchmark of Deepfakes Circulated in 2024
Created by
Haebom
저자
Nuria Alina Chandra, Ryan Murtfeldt, Lin Qiu, Arnab Karmakar, Hannah Lee, Emmanuel Tanumihardja, Kevin Farhat, Ben Caffee, Sejin Paik, Changyeon Lee, Jongwook Choi, Aerin Kim, Oren Etzioni
개요
본 논문은 기존의 학술용 데이터셋이 현실 세계의 딥페이크를 제대로 반영하지 못한다는 점을 지적하며, 2024년 소셜 미디어와 딥페이크 탐지 플랫폼에서 수집된 새로운 딥페이크 탐지 벤치마크인 Deepfake-Eval-2024를 제시합니다. Deepfake-Eval-2024는 45시간 분량의 비디오, 56.5시간 분량의 오디오, 1,975장의 이미지로 구성되며, 최신 조작 기술을 포함하고 88개 웹사이트, 52개 언어의 다양한 미디어 콘텐츠를 담고 있습니다. 논문은 기존 벤치마크 대비 Deepfake-Eval-2024에서 오픈소스 최첨단 딥페이크 탐지 모델의 성능이 비디오 50%, 오디오 48%, 이미지 45% 하락함을 보여줍니다. 상업용 딥페이크 탐지 모델과 Deepfake-Eval-2024로 미세 조정된 모델은 오픈소스 모델보다 성능이 우수하지만, 딥페이크 포렌식 전문가의 정확도에는 미치지 못한다는 점도 밝힙니다. 데이터셋은 https://github.com/nuriachandra/Deepfake-Eval-2024 에서 이용 가능합니다.