Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

When Deepfakes Look Real: Detecting AI-Generated Faces with Unlabeled Data due to Annotation Challenges

Created by
  • Haebom

저자

Zhiqiang Yang, Renshuai Tao, Xiaolong Zheng, Guodong Yang, Chunjie Zhang

개요

본 논문은 기존 딥페이크 탐지 방법의 한계점인 레이블링된 데이터 의존성을 해결하기 위해, 대규모 비표시 데이터를 활용하는 Dual-Path Guidance Network (DPGNet)을 제안합니다. DPGNet은 서로 다른 생성 모델의 얼굴 이미지 간 도메인 격차를 해소하고, 비표시 이미지 샘플을 활용하는 두 가지 핵심 모듈로 구성됩니다. 첫 번째 모듈인 text-guided cross-domain alignment는 학습 가능한 프롬프트를 사용하여 시각적 및 텍스트적 임베딩을 도메인 불변 특징 공간으로 통합하고, 두 번째 모듈인 curriculum-driven pseudo label generation은 정보가 풍부한 비표시 샘플을 동적으로 활용합니다. 또한, 도메인 간 지식 증류를 통해 망각 문제를 방지합니다. 11개의 데이터셋에서의 실험 결과, DPGNet은 기존 최고 성능(SoTA) 방법보다 6.3% 향상된 성능을 보였습니다. 이는 점점 더 사실적으로 발전하는 딥페이크의 어노테이션 문제 해결에 비표시 데이터를 활용하는 DPGNet의 효과를 보여줍니다.

시사점, 한계점

시사점:
대규모 비표시 데이터를 효과적으로 활용하여 딥페이크 탐지 성능을 향상시킬 수 있는 새로운 방법 제시.
도메인 격차를 줄이고, 비표시 데이터를 활용하는 효과적인 전략 제시 (text-guided cross-domain alignment 및 curriculum-driven pseudo label generation).
딥페이크 탐지 분야에서 어노테이션 작업의 어려움을 완화하는 데 기여.
기존 최고 성능 모델 대비 유의미한 성능 향상을 달성.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 검증 필요.
다양한 유형의 딥페이크 생성 모델에 대한 로버스트성 평가 필요.
실제 온라인 소셜 네트워크 환경에서의 성능 평가 필요.
프롬프트 엔지니어링에 대한 의존성이 존재할 가능성.
👍