每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

CreditDecoding：利用跟踪积分加速扩散大型语言模型中的并行解码

Created by
  • Haebom

作者

王康宇、姜志云、冯海波、赵伟佳、刘林、李建国、兰振中、林伟耀

大纲

扩散大型语言模型 (DLLM) 通过重复去噪步骤生成文本，并通过在每个步骤中仅对高置信度位置进行去噪来执行并行解码。由于初始置信度得分较低，现有方法会反复重新屏蔽 token，从而导致冗余重复并限制整体加速。在本研究中，我们分析了 dLLM 解码轨迹，并观察到该模型会提前几个解码步骤确定 token 的最终预测。为了利用这些过去的信息并避免冗余步骤，我们引入了“轨迹信用”的概念，它累积过去的 logit 来量化每个 token 的收敛概率。此外，我们提出了 CreditDecoding，这是一种无需学习的并行解码算法，它通过将当前 logit 与“轨迹信用”融合，加速正确但低置信度 token 的置信度收敛。CreditDecoding 显著减少了冗余重复并提高了解码的鲁棒性。与 LLaDA-8B-Instruct 相比，CreditDecoding 在八个基准测试中实现了 5.48 倍的加速和 0.48% 的性能提升；与 LLaDA-MoE-Instruct 相比，CreditDecoding 实现了 4.11 倍的加速和 0.15% 的性能提升。CreditDecoding 能够有效扩展到长序列，并且独立于主流推理优化，使其成为一个功能多样且易于集成的解决方案。

Takeaways, Limitations

•
Takeaways：
◦
通过使用 Trace Credit 的 CreditDecoding 算法提高了 dLLM 的解码速度。
◦
它可以应用于现有模型，无需学习过程，并与主流推理优化兼容。
◦
与 LLaDA 模型相比，它在各种基准测试中都显示出显著的加速和性能提升。
◦
即使对于长序列也能有效应用。
•
Limitations：
◦
论文中没有具体说明Limitations。
👍
Made with Slashpage