每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

用于图像伪造识别的语义差异感知检测器

Created by
  • Haebom

作者

王子业、于明航、徐春燕、崔振

大纲

随着图像生成技术的进步,伪造图像检测的重要性日益凸显。我们致力于解决伪造图像与语义概念空间之间不匹配的问题。虽然预训练模型学习到的语义概念对于识别伪造图像至关重要,但伪造图像与语义概念空间之间的不匹配会降低检测性能。为了解决这个问题,我们提出了一种语义差异感知检测器 (SDD),它利用重构学习在细粒度的视觉层面上对齐这两个空间。SDD 利用嵌入在预训练视觉语言模型中的概念知识,设计了一个语义标记采样模块,该模块可以减轻由与伪造痕迹和语义概念均不相关的特征引起的空间偏移。此外,基于视觉重构范式的概念级伪造不匹配学习模块增强了视觉语义概念与伪造痕迹之间的交互,从而有效地捕捉由概念引导的不匹配。此外,通过结合通过低级伪造特征增强学习到的概念级伪造不匹配,我们可以最大限度地减少不必要的伪造信息。在两个标准图像伪造数据集上的实验结果表明,SDD 优于现有方法。

Takeaways, Limitations

Takeaways:
利用预训练模型的语义概念来提高图像伪造检测性能。
一种解决假冒和语义概念空间不匹配的新方法(基于重构学习)。
通过各种模块设计(语义标记采样、概念级伪造不匹配学习、低级伪造特征增强)提高伪造检测性能。
与现有方法相比表现出了更优异的性能。
Limitations:
论文中没有指定 Limitations。
👍