每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

FLEx：通过专家嫁接实现混合专家法学硕士的个性化联邦学习

Created by
  • Haebom

作者

刘帆、潘必康、王忠义、姚希、唐晓英、王静雅、石也

大纲

本文提出了 FLEx（基于个性化专家的联邦法学硕士 (LLM)），这是一种用于大规模语言模型 (LLM) 联邦学习 (FL) 的新型框架。FLEx 利用混合专家 (MoE) 架构，在数据高度异构的环境中实现模型个性化。具体而言，FLEx 利用基于 MoE 的预训练 LLM 来降低通信开销、保存专家知识，并引入专家嫁接机制来构建针对特定客户端的个性化专家。在各种非独立同分布 (IID) 指令调优数据集上的实验表明，FLEx 的性能优于现有的基于联邦学习的模型，并在基于知识的基准 MMLU 上表现出较高的知识保存率。

Takeaways, Limitations

•
Takeaways：
◦
提出在联邦学习环境中有效利用 MoE 架构的可能性。
◦
提出了一种同时实现通信效率和模型个性化的新框架。
◦
我们提出了一种构建个性化模型的方法，同时保留预先训练的专家的知识。
◦
在不同数据集上表现出卓越的性能和知识保留能力
•
Limitations：
◦
摘要中没有直接提到具体的Limitations。
👍
Made with Slashpage