Deepfake-Eval-2024: A Multi-Modal In-the-Wild Benchmark of Deepfakes Circulated in 2024
Created by
- Haebom
Category
Empty
저자
Nuria Alina Chandra, Ryan Murtfeldt, Lin Qiu, Arnab Karmakar, Hannah Lee, Emmanuel Tanumihardja, Kevin Farhat, Ben Caffee, Sejin Paik, Changyeon Lee, Jongwook Choi, Aerin Kim, Oren Etzioni
개요
본 논문은 최근 등장하는 현실적인 생성형 AI 기술에 따라 심각해지는 딥페이크 문제에 대응하기 위해, 최신 딥페이크 탐지 벤치마크인 Deepfake-Eval-2024를 제시합니다. 기존 학술 데이터셋이 최신 딥페이크 기술을 반영하지 못한다는 점을 지적하며, 2024년 소셜 미디어 및 딥페이크 탐지 플랫폼에서 수집한 44시간 분량의 비디오, 56.5시간 분량의 오디오, 1,975개의 이미지를 포함하는 새로운 벤치마크를 소개합니다. 다양한 웹사이트(88개)와 언어(52개)의 콘텐츠를 포함하며, 기존 최첨단 오픈소스 딥페이크 탐지 모델의 성능이 Deepfake-Eval-2024에서는 크게 저하됨을 보여줍니다. (비디오 50%, 오디오 48%, 이미지 45% AUC 감소). 상용 모델과 Deepfake-Eval-2024에 미세 조정된 모델은 오픈소스 모델보다 성능이 우수하지만, 여전히 전문가 수준에는 미치지 못함을 확인합니다. 데이터셋은 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
기존 딥페이크 탐지 모델의 성능 평가에 사용되는 학술 데이터셋의 한계를 밝힘.
◦
최신 딥페이크 기술을 반영한 새로운 벤치마크 Deepfake-Eval-2024 제시.
◦
오픈소스 딥페이크 탐지 모델의 실제 성능 저하를 규명.
◦
상용 모델 및 미세 조정 모델의 성능 향상 가능성을 제시.
◦
딥페이크 탐지 분야의 지속적인 연구 개발 필요성 강조.
•
한계점:
◦
상용 모델의 성능 평가에 대한 자세한 내용 부족.
◦
전문가 수준의 딥페이크 탐지 성능과의 비교 기준이 명확하지 않음.
◦
Deepfake-Eval-2024 데이터셋의 편향성 및 일반화 가능성에 대한 추가 분석 필요.
