본 논문은 기존의 공간 주파수 기반 딥페이크 탐지 방식의 한계를 극복하기 위해 픽셀 단위의 시간적 불일치를 활용하는 새로운 딥페이크 영상 탐지 기법을 제시합니다. 기존 방식은 프레임 간 공간 주파수 스펙트럼을 단순히 쌓아 시간 정보를 표현하여 픽셀 단위의 시간적 인공물을 탐지하지 못하는 한계를 가지고 있습니다. 본 논문에서 제안하는 방법은 각 픽셀에 대해 시간 축에 1D 푸리에 변환을 수행하여 시간적 불일치에 매우 민감한 특징을 추출하며, 특히 부자연스러운 움직임이 발생하기 쉬운 영역에서 효과적입니다. 또한, 시간적 인공물이 포함된 영역을 정확하게 찾기 위해 end-to-end 방식으로 학습된 어텐션 제안 모듈을 도입하고, 공간-시간적 맥락 정보와 픽셀 단위 시간 주파수 특징을 효과적으로 통합하는 조인트 트랜스포머 모듈을 사용하여 탐지 가능한 위조 인공물의 범위를 확장합니다. 다양하고 어려운 탐지 시나리오에서 강력한 성능을 제공하여 딥페이크 영상 탐지 분야의 발전에 크게 기여합니다.
시사점, 한계점
•
시사점:
◦
픽셀 단위 시간적 불일치 분석을 통해 기존 방식의 한계를 극복하는 새로운 딥페이크 탐지 기법 제시
◦
1D 푸리에 변환을 통한 시간적 불일치에 민감한 특징 추출 및 어텐션 모듈을 활용한 정확한 인공물 위치 확인
◦
조인트 트랜스포머 모듈을 통한 공간-시간적 맥락 정보 활용으로 탐지 성능 향상
◦
다양한 딥페이크 영상에 대한 강력한 탐지 성능
•
한계점:
◦
제시된 방법의 일반화 성능 및 다양한 딥페이크 생성 기법에 대한 탐지 성능에 대한 추가적인 검증 필요
