Veritas: Generalizable Deepfake Detection via Pattern-Aware Reasoning
Created by
Haebom
저자
Hao Tan, Jun Lan, Zichang Tan, Ajian Liu, Chuanbiao Song, Senyuan Shi, Huijia Zhu, Weiqiang Wang, Jun Wan, Zhen Lei
개요
본 논문은 실제 세계 시나리오에서 딥페이크 콘텐츠의 복잡하고 진화하는 특성으로 인해 딥페이크 탐지가 어려운 과제임을 지적합니다. 기존 학술적 벤치마크는 일반적으로 동종의 훈련 소스와 저품질 테스트 이미지를 특징으로 하여 산업 현장과 심각한 차이를 보이며, 현재 탐지기의 실제 배포를 저해합니다. 이러한 간극을 해소하기 위해 계층적 일반화 테스트를 통해 실제 세계의 과제를 시뮬레이션하는 HydraFake 데이터셋을 제시합니다. HydraFake는 다양한 딥페이크 기술과 현장 위조, 엄격한 훈련 및 평가 프로토콜을 포함하여 보이지 않는 모델 아키텍처, 새로운 위조 기술 및 새로운 데이터 도메인을 다룹니다. 이러한 리소스를 기반으로 다중 모드 대규모 언어 모델(MLLM) 기반 딥페이크 탐지기인 Veritas를 제안합니다. 일반적인 사고 과정(CoT)과 달리, 인간의 법의학 과정을 모방하기 위해 "계획" 및 "자기 반성"과 같은 중요한 추론 패턴을 포함하는 패턴 인식 추론을 도입합니다. 또한 이러한 딥페이크 추론 기능을 현재 MLLM에 원활하게 내재화하기 위한 2단계 훈련 파이프라인을 제안합니다. HydraFake 데이터셋에 대한 실험은 이전 탐지기가 교차 모델 시나리오에서 뛰어난 일반화 성능을 보이지만, 보이지 않는 위조 및 데이터 도메인에서는 부족함을 보임을 보여줍니다. Veritas는 다양한 OOD 시나리오에서 상당한 성능 향상을 달성하며, 투명하고 정확한 탐지 결과를 제공할 수 있습니다.
시사점, 한계점
•
시사점:
◦
실제 세계의 딥페이크 탐지 과제를 반영하는 새로운 데이터셋 HydraFake를 제시합니다.
◦
다중 모달 대규모 언어 모델(MLLM) 기반의 새로운 딥페이크 탐지기 Veritas를 제안합니다.
◦
패턴 인식 추론을 통해 인간의 법의학적 추론 과정을 모방하여 탐지 성능을 향상시킵니다.
◦
Veritas는 기존 탐지기보다 다양한 OOD(Out-of-Distribution) 시나리오에서 우수한 성능을 보입니다.
◦
투명하고 신뢰할 수 있는 탐지 결과를 제공합니다.
•
한계점:
◦
HydraFake 데이터셋이 실제 세계의 모든 딥페이크 위협을 완벽하게 반영하지 못할 수 있습니다.
◦
Veritas의 성능은 HydraFake 데이터셋에 대한 훈련 및 평가에 의존적일 수 있습니다. 다른 데이터셋에서의 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
MLLM 기반 접근 방식의 계산 비용이 높을 수 있습니다.
◦
새로운 딥페이크 기술이 지속적으로 등장하기 때문에, Veritas의 지속적인 업데이트 및 개선이 필요합니다.
