每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

CoSteer：通过局部增量转向实现协作解码时间个性化

Created by
  • Haebom

作者

吕航、梁盛、王浩、顾洪超、吴亚雄、郭伟、连德福、刘勇、陈恩红

CoSteer：通过局部增量转向实现解码时间个性化

大纲

本文提出了一种新颖的个性化文本生成框架 CoSteer。CoSteer 利用本地小模型生成的个性化文本和非个性化文本之间的对数差异来调整云端 LLM 的输出，从而能够在个人设备资源受限的情况下实现实时自适应。该方法在本地动态调整增量向量，在保护隐私的同时，保留了云端 LLM 的通用功能。

Takeaways，Limitations

•
Takeaways：
◦
有效利用个人设备上的用户资料和记录可支持 LLM 生成个性化内容。
◦
设备上的数据处理确保隐私。
◦
将计算开销保持在可接受的水平，同时保持基于云的 LLM 的一般功能。
◦
通过仅传输最终输出而不传输任何数据来增强隐私。
•
Limitations：
◦
论文中没有提到有关Limitations的任何具体内容。
👍
Made with Slashpage