Deepfake-Eval-2024: A Multi-Modal In-the-Wild Benchmark of Deepfakes Circulated in 2024
Created by
Haebom
Category
Empty
저자
Nuria Alina Chandra, Ryan Murtfeldt, Lin Qiu, Arnab Karmakar, Hannah Lee, Emmanuel Tanumihardja, Kevin Farhat, Ben Caffee, Sejin Paik, Changyeon Lee, Jongwook Choi, Aerin Kim, Oren Etzioni
개요
본 논문은 최신 생성형 AI 기술의 발전으로 인해 심각해지는 딥페이크 문제에 대응하여, 현실적인 딥페이크 탐지 성능 평가를 위한 새로운 벤치마크인 Deepfake-Eval-2024를 제시합니다. 기존 학술용 데이터셋이 현실 세계의 딥페이크를 제대로 반영하지 못한다는 점을 지적하며, 2024년 소셜 미디어 및 딥페이크 탐지 플랫폼에서 수집한 45시간 분량의 영상, 56.5시간 분량의 음성, 1,975개의 이미지로 구성된 새로운 벤치마크를 소개합니다. 이를 통해 기존 최첨단 오픈소스 딥페이크 탐지 모델들의 성능이 Deepfake-Eval-2024에서는 현저히 저하됨을 보여주며(영상 50%, 음성 48%, 이미지 45% AUC 감소), 상용 모델 및 Deepfake-Eval-2024에 미세 조정된 모델이 더 나은 성능을 보이지만 여전히 전문가 수준에는 미치지 못함을 밝힙니다. 데이터셋은 GitHub에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
현실적인 딥페이크 탐지 성능 평가를 위한 새로운 벤치마크 Deepfake-Eval-2024 제시.
◦
기존 벤치마크의 한계를 명확히 지적하고, 현실 세계 딥페이크의 다양성을 반영.
◦
오픈소스 모델의 성능 저하를 통해 딥페이크 탐지 기술의 개선 필요성을 강조.
◦
상용 모델 및 미세 조정 모델의 성능 분석을 통해 향후 연구 방향 제시.
◦
공개된 데이터셋을 활용한 딥페이크 탐지 기술 연구 활성화 기대.
•
한계점:
◦
상용 모델 및 미세 조정 모델의 성능이 여전히 전문가 수준에는 미치지 못함.
◦
Deepfake-Eval-2024가 미래의 딥페이크 기술 발전을 완벽히 반영할 수 있을지에 대한 불확실성.
