每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

超越演示：从潜在表征构建动态向量

Created by
  • Haebom

作者

王才、黄秀媛、王志祥、吴云芳

DyVec：用于推理时间任务适应的动态向量

大纲

DyVec 是上下文衍生向量 (ICV) 方法的改进版本，该方法从大规模语言模型 (LLM) 中提取与任务相关的表征，并在推理过程中重新注入这些表征。为了解决现有 ICV 方法的 Limitations 问题，DyVec 结合了穷举查询轮换 (EQR) 策略来提取稳健的语义密集潜在表征，应用动态潜在分割和注入技术根据任务复杂度自适应地划分表征，并利用基于强化学习 (REINFORCE) 的优化算法来学习每个分段的最佳注入位置。实验结果表明，DyVec 的表现优于少样本 ICL、LoRA 以及之前基于 ICV 的方法。

Takeaways, Limitations

•
Takeaways：
◦
提供一种轻量级、数据高效的解决方案，可在推理时调整任务。
◦
实现了优于少量 ICL、LoRA 和现有 ICV 方法的性能。
◦
展示动态分割和注入语义浓缩潜在表示的有效性。
•
Limitations：
◦
Limitations，正如论文中所述，并未直接提及。
👍
Made with Slashpage