본 논문은 RAIDX(Retrieval-Augmented Image Deepfake Detection and Explainability)라는 새로운 딥페이크 탐지 프레임워크를 제안합니다. RAIDX는 Retrieval-Augmented Generation (RAG)과 Group Relative Policy Optimization (GRPO)을 통합하여 딥페이크 탐지 정확도와 의사결정 설명 가능성을 향상시킵니다. RAG는 외부 지식을 활용하여 탐지 정확도를 높이고, GRPO는 수작업 주석 없이도 세분화된 텍스트 설명과 saliency map을 자율적으로 생성합니다. 다양한 벤치마크 실험을 통해 RAIDX가 최첨단 탐지 성능을 달성하면서 딥페이크 식별의 투명성을 높이는 것을 보여줍니다. RAIDX는 RAG와 GRPO를 통합한 최초의 통합 프레임워크로 정확도와 설명 가능성의 중요한 격차를 해소합니다. 코드와 모델은 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
RAG와 GRPO의 통합을 통해 딥페이크 탐지의 정확도와 설명 가능성을 동시에 향상시킨 최초의 프레임워크 제시.
◦
수작업 주석에 대한 의존성을 줄이고, 자율적인 설명 생성을 가능하게 함.
◦
세분화된 텍스트 설명과 saliency map을 통해 딥페이크 판별의 투명성을 높임.
◦
최첨단 탐지 성능 달성.
◦
코드와 모델의 공개를 통한 연구의 재현성 및 확장성 확보.
•
한계점:
◦
논문에서 제시된 한계점에 대한 명시적인 언급이 부족함. 향후 연구를 통해 추가적인 개선이 필요할 수 있음.
