每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

CORE-RAG：通过强化学习实现检索增强型 LLM 的无损压缩

Created by
  • Haebom

作者

崔自强、翁云鹏、唐兴、刘培阳、李诗伟、何博伟、陈嘉敏、张彦森、何秀强、马陈

大纲

为了解决检索增强生成 (RAG) 模型中长输入带来的计算成本增加问题，我们提出了一种名为 CORE 的无损上下文压缩技术。CORE 无需预先设定压缩准则，而是利用下游任务的性能作为反馈信号，端到端地优化压缩策略。即使在 3% 的高压缩率下，它也能有效防止性能下降，并将精确匹配 (EM) 得分提高 3.3 分。

Takeaways，Limitations

•
Takeaways：
◦
提出了一种用于 RAG 模型中上下文压缩的新型端到端学习技术。
◦
通过利用下游任务性能（无需预定义压缩标签）来学习压缩策略。
◦
即使在高压缩比下也能实现性能提升。
•
Limitations：
◦
已计划发布代码，但目前尚未实施或可用。
◦
需要有关特定数据集和实验结果的更多信息。
◦
缺乏与其他压缩技术的比较分析信息。
👍
Made with Slashpage