每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

FedMentor：面向心理健康领域异构联邦法学硕士的领域感知差异隐私

Created by
  • Haebom

作者

诺宾·萨瓦尔、舒巴斯·罗伊·迪普塔

FedMentor：大规模语言模型自适应，保护隐私

大纲

本文介绍了一项关于大规模语言模型 (LLM) 在敏感领域（例如心理健康）的隐私保护适配性研究。为了平衡模型效用、安全性和严格保密性，我们提出了 FedMentor，这是一个集成了低秩自适应 (LoRA) 和领域感知差分隐私 (DP) 的联邦微调框架。FedMentor 允许每个客户端（领域）应用与其数据敏感度成比例的自定义 DP 噪声尺度，并且当效用低于阈值时，服务器会自适应地降低噪声。在三个心理健康数据集上的实验表明，与标准联邦学习 (FL) 相比，FedMentor 在保持效用的同时提高了安全性并降低了毒性。该框架可扩展到在单个 GPU 客户端上具有高达 17 亿个参数的主干，每轮所需的通信量不到 173 MB。

Takeaways, Limitations

•
Takeaways：
◦
FedMentor 提供了一个基于联邦学习的框架，在维护隐私的同时增强了 LLM 的安全性和可用性。
◦
我们提出了在处理敏感数据（例如心理健康）的领域中安全分发法学硕士学位的实用方法。
◦
LoRA 与 DP 的结合有效地实现了模型可用性和隐私之间的平衡。
◦
实验结果表明，FedMentor 提高了安全输出率，降低了毒性，并保持可用性接近私有基线和中心化上限。
◦
支持单GPU环境下运行大规模模型，通信成本低。
•
Limitations：
◦
仅展示特定数据集（心理健康相关）的实验结果，需要进一步验证对其他敏感领域的普遍性。
◦
可能需要进一步研究来找到模型性能和隐私之间的最佳平衡。
◦
需要进一步分析由于应用 DP 而导致的可用性损失。
◦
LoRA与DP的具体交互和优化还有待进一步研究。
👍
Made with Slashpage