Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Deepfake-Eval-2024: A Multi-Modal In-the-Wild Benchmark of Deepfakes Circulated in 2024

Created by
  • Haebom

저자

Nuria Alina Chandra, Ryan Murtfeldt, Lin Qiu, Arnab Karmakar, Hannah Lee, Emmanuel Tanumihardja, Kevin Farhat, Ben Caffee, Sejin Paik, Changyeon Lee, Jongwook Choi, Aerin Kim, Oren Etzioni

개요

본 논문은 기존의 학술용 데이터셋이 현실 세계의 딥페이크를 제대로 반영하지 못한다는 점을 지적하며, 2024년 소셜 미디어와 딥페이크 탐지 플랫폼에서 수집된 새로운 딥페이크 탐지 벤치마크인 Deepfake-Eval-2024를 제시합니다. Deepfake-Eval-2024는 45시간 분량의 비디오, 56.5시간 분량의 오디오, 1,975장의 이미지로 구성되며, 최신 조작 기술을 포함하고 88개 웹사이트, 52개 언어의 다양한 미디어 콘텐츠를 담고 있습니다. 논문은 기존 벤치마크 대비 Deepfake-Eval-2024에서 오픈소스 최첨단 딥페이크 탐지 모델의 성능이 비디오 50%, 오디오 48%, 이미지 45% 하락함을 보여줍니다. 상업용 딥페이크 탐지 모델과 Deepfake-Eval-2024로 미세 조정된 모델은 오픈소스 모델보다 성능이 우수하지만, 딥페이크 포렌식 전문가의 정확도에는 미치지 못한다는 점도 밝힙니다. 데이터셋은 https://github.com/nuriachandra/Deepfake-Eval-2024 에서 이용 가능합니다.

시사점, 한계점

시사점:
현실적인 딥페이크 탐지의 어려움을 보여주는 새로운 벤치마크를 제공합니다.
기존 딥페이크 탐지 모델의 성능 한계를 명확히 드러냅니다.
딥페이크 탐지 분야의 지속적인 연구 개발의 필요성을 강조합니다.
더욱 현실적인 딥페이크 탐지 기술 개발을 위한 방향을 제시합니다.
한계점:
Deepfake-Eval-2024가 2024년 데이터를 기반으로 하므로, 시간이 지남에 따라 새로운 딥페이크 기술에 대한 적응성이 떨어질 수 있습니다.
상업용 모델과 전문가의 성능 차이가 여전히 존재하며, 이를 좁히기 위한 추가 연구가 필요합니다.
데이터셋의 다양성에도 불구하고, 실제 세계의 모든 딥페이크 유형을 완벽히 포괄하지 못할 수 있습니다.
👍