每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

通过持续指令调整实现自我进化的法学硕士

Created by
  • Haebom

作者

康家正、黄乐、侯成、赵哲、严振翔、石传、白婷

大纲

MoE-CL 是一个参数高效的对抗式混合专家框架，用于持续训练大规模语言模型 (LLM)，这些模型必须能够自我进化，以适应大规模工业环境中的动态数据分布。MoE-CL 采用双专家设计，通过 LoRA 专家为每个任务保存特定于任务的知识，以减轻遗忘，同时共享 LoRA 专家支持任务间迁移。为了防止任务相关的噪声通过共享路径传播，GAN 中集成了一个任务感知鉴别器。

Takeaways，Limitations

•
MoE-CL 利用具有独立参数的专用 LoRA 专家进行特定任务的知识维护，并利用共享 LoRA 专家进行任务间转移。
•
通过对抗性学习，共享专家学习模仿鉴别器的广义表示，而专门专家维护特定于任务的细节，平衡知识保存和跨任务泛化。
•
MoE-CL的有效性已在MTL5公开基准和业界Tencent3基准中得到验证。
•
在腾讯视频平台内容合规性审核的A/B测试中，MoE-CL将人工审核成本降低了15.3%。
•
本文没有具体提及 MoE-CL 的 Limitations。
👍
Made with Slashpage