Deepfake-Eval-2024: A Multi-Modal In-the-Wild Benchmark of Deepfakes Circulated in 2024
Created by
- Haebom
Category
Empty
저자
Nuria Alina Chandra, Ryan Murtfeldt, Lin Qiu, Arnab Karmakar, Hannah Lee, Emmanuel Tanumihardja, Kevin Farhat, Ben Caffee, Sejin Paik, Changyeon Lee, Jongwook Choi, Aerin Kim, Oren Etzioni
개요
본 논문은 점점 더 정교해지는 생성형 AI 시대에, 사기 및 허위 정보 확산 방지를 위해 견고한 딥페이크 탐지 기술이 필수적임을 강조한다. 기존 학술 데이터셋에서 높은 정확도를 보이는 많은 딥페이크 탐지기들이 실제 딥페이크를 제대로 반영하지 못한다는 점을 밝히고, 2024년 소셜 미디어 및 딥페이크 탐지 플랫폼 사용자로부터 수집한 실제 딥페이크로 구성된 새로운 벤치마크인 Deepfake-Eval-2024를 제시한다. Deepfake-Eval-2024는 45시간 분량의 비디오, 56.5시간 분량의 오디오, 1,975개의 이미지를 포함하며, 최신 조작 기술을 포괄하고 88개 웹사이트, 52개 언어의 다양한 미디어 콘텐츠를 담고 있다. 기존 벤치마크와 비교하여 오픈소스 최첨단 딥페이크 탐지 모델의 성능이 비디오 50%, 오디오 48%, 이미지 45% 감소하는 것을 확인했다. 상용 딥페이크 탐지 모델과 Deepfake-Eval-2024에 미세 조정된 모델은 오픈소스 모델보다 성능이 우수하지만, 딥페이크 포렌식 분석가의 정확도에는 미치지 못한다. 데이터셋은 https://github.com/nuriachandra/Deepfake-Eval-2024 에서 이용 가능하다.
시사점, 한계점
•
시사점:
◦
기존 학술 데이터셋의 한계를 지적하고, 실제 환경을 반영한 새로운 딥페이크 탐지 벤치마크 Deepfake-Eval-2024를 제공한다.
◦
최신 딥페이크 기술에 대한 오픈소스 모델의 취약성을 보여준다.
◦
상용 모델 및 미세 조정된 모델의 성능 향상 가능성을 제시한다.
◦
딥페이크 탐지 기술 발전을 위한 새로운 방향을 제시한다.
•
한계점:
◦
Deepfake-Eval-2024의 데이터셋이 2024년 데이터를 기반으로 하므로, 시간이 지남에 따라 새로운 딥페이크 기술이 등장하면 다시 한번 벤치마크의 유효성을 검증해야 한다.
◦
상용 모델 및 미세 조정된 모델의 성능이 우수하지만, 여전히 딥페이크 포렌식 분석가의 수준에는 미치지 못한다.
◦
데이터셋의 다양성에도 불구하고, 실제 모든 유형의 딥페이크를 완벽하게 포괄하지 못할 수 있다.
