每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

边学边忘:生成语言模型的迭代忘却学习框架

Created by
  • Haebom

作者

唐浩宇、刘晔、赵曦、刘旭凯、张养海、张凯、周晓芳、陈恩红

大纲

本文强调了在大型数据集上训练的强大自然语言处理 (NLP) 模型可能泄露敏感信息的风险。为了解决这个问题,我们提出了一种机器反学习技术,可以选择性地从现有的机器学习模型中删除特定的数据元素。现有的反学习技术由于依赖于预处理或需要访问原始训练数据而存在局限性。为了克服这些限制,我们提出了迭代对比反学习 (ICU) 框架。ICU 由三个核心组件组成:知识反学习诱导模块、对比学习增强模块和迭代反学习增强模块。它利用反学习损失函数来移除特定知识,保留模型对于纯反学习目标的表征能力,并通过持续评估和更新来动态调整反学习过程。实验结果表明,ICU 方法在反学习敏感信息的同时能够保持模型整体性能,为注重隐私的机器学习应用提供了一种有前景的解决方案。

Takeaways, Limitations

Takeaways:
提出了一个新框架(ICU)来克服现有机器学习技术的局限性(需要访问原始数据,模型性能下降)。
提出一种在有效删除敏感信息的同时保持模型性能的方法。
为以隐私为中心的机器学习应用提供实用的解决方案。
Limitations:
需要进一步分析ICU框架实际应用所需的计算成本和复杂性。
需要评估各种类型数据和模型的泛化性能
对于某些类型的敏感信息,遗忘效应可能有限。
👍