每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

KL 正则化本身在 Bandits 和 RLHF 游戏中具有差分隐私性

Created by
  • Haebom

作者

张一舟、Kishan Panaganti、石莱西、Juba Ziani、Adam Wierman

大纲

本文提出了一种实现差分隐私 (DP) 的新方法。传统的 DP 是通过噪声注入来实现的，而本研究探索了一种利用现有算法固有随机性“免费”实现 DP 的方法。具体而言，通过在学习目标中添加 KL 正则化，我们证明了差分隐私可以在三个决策问题中实现：多臂老虎机、线性上下文老虎机和基于人类反馈的强化学习 (RLHF)。这种新方法无需噪声注入即可保证隐私，同时保留了正则化的优势，有助于提升性能。

Takeaways, Limitations

•
Takeaways：
◦
KL 正则化为算法的输出（尤其是动作采样）提供了差分隐私保证。
◦
它通过确保隐私而无需单独注入噪声来提高算法的效率。
◦
在保持正则化的性能增强效果的同时实现隐私。
◦
它适用于各种问题，例如多臂老虎机、线性上下文老虎机和 RLHF。
•
Limitations：
◦
它仅限于离线数据设置，需要扩展到在线学习环境。
◦
KL正则化和最优超参数设置的具体效果还有待进一步研究。
◦
需要进一步探索将这种方法扩展到其他类型的正则化技术和其他决策问题。
◦
需要研究应用于真实数据时性能和隐私之间的权衡。
👍
Made with Slashpage