Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Unlocking the Forgery Detection Potential of Vanilla MLLMs: A Novel Training-Free Pipeline

Created by
  • Haebom
Category
Empty

저자

Rui Zuo, Qinyue Tong, Zhe-Ming Lu, Ziqian Lu

개요

본 논문은 멀티모달 대형 언어 모델(MLLMs)을 활용하여 이미지 위조를 분석하는 훈련이 필요 없는 파이프라인인 Foresee를 제안합니다. Foresee는 별도의 훈련 없이 가벼운 추론 과정을 통해 기존 MLLM 기반 방법론보다 더 나은 위조 위치 정확도와 풍부한 텍스트 설명을 제공합니다. 특히, 복사-이동 조작을 위해 유연한 특징 감지기(FFD) 모듈과 유형 우선 전략을 사용합니다. 실험 결과, 다양한 위조 유형(복사-이동, 스플라이싱, 제거, 로컬 개선, 딥페이크, AIGC 기반 편집)에서 기존의 IFDL 방법보다 뛰어난 일반화 성능을 보였습니다.

시사점, 한계점

훈련 과정이 없어 계산 비용이 적고, 경량화된 추론이 가능합니다.
위조 위치 정확도와 텍스트 설명의 풍부함이 향상되었습니다.
다양한 위조 유형에 대한 일반화 성능이 뛰어납니다.
복사-이동 조작에 특화된 FFD 모듈을 사용합니다.
별도의 훈련 없이 MLLM의 잠재력을 효과적으로 활용합니다.
코드 공개 예정입니다.
논문의 구체적인 한계점은 명시되지 않았습니다.
👍