每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

针对预训练编码器的互信息引导后门缓解

Created by
  • Haebom

作者

韩廷旭、孙伟松、丁子琪、方春荣、钱汉伟、李家勋、陈振宇、张翔宇

大纲

使用自监督学习 (SSL) 预训练的编码器容易受到后门攻击。本文提出了一种基于互信息的后门缓解技术 MIMIC,用于缓解针对预训练编码器的后门攻击。MIMIC 将潜在后门编码器视为教师网络,并使用知识蒸馏从教师网络中提取干净的学生编码器。MIMIC 通过利用各层之间的互信息和提取的特征来执行知识蒸馏,以识别教师网络中正向知识的位置。

Takeaways, Limitations

MIMIC 有效地减轻了对预训练编码器的后门攻击。
MIMIC 使用少量干净数据,其性能优于现有技术。
本文开发了一种利用互信息的后门缓解技术。
论文中没有具体提到Limitations。
👍