每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

R-Capsule：压缩高级计划以实现高效的大型语言模型推理

Created by
  • Haebom

作者

单宏宇、宋明阳、常岱、狄良、陈涵

大纲

思路链 (CoT) 提示有助于大规模语言模型 (LLM) 通过逐步推理解决复杂问题。然而，CoT 的弊端在于表示过多，导致延迟和内存占用增加，并且早期错误可能会在长链中传播。本文提出了推理胶囊 (R-Capsule) 框架，旨在将潜在推理的效率与显式 CoT 的透明性相结合。其核心思想是将高级计划压缩成一小组学习到的潜在标记（推理胶囊），同时保持执行步骤的轻量级或显式化。这种混合方法受信息瓶颈 (IB) 原则的启发，鼓励胶囊最小化但足以完成任务。通过低容量瓶颈来鼓励最小化以提高效率。通过双重目标来鼓励充分性：主要任务损失函数用于衡量答案准确性，辅助计划重建损失函数用于鼓励胶囊忠实地表示原始文本计划。重建目标有助于巩固潜在空间，从而提高可解释性并减少无信息捷径的使用。该框架在效率、准确性和可解释性之间取得平衡，在保持或提升复杂基准测试准确性的同时，减少推理过程中可见的标记占用空间。

Takeaways，Limitations

•
Takeaways：
◦
将潜在推理的效率与显性 CoT 的透明度相结合。
◦
使用 Reasoning Capsule 实现效率、准确性和可解释性之间的平衡。
◦
减少推理的令牌占用空间，同时保持或提高复杂基准的准确性。
•
Limitations：
◦
论文中没有具体提及 Limitations（尽管由于潜在空间学习可能会存在潜在的解释困难）。
👍
Made with Slashpage