每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

通过卷积解码和拒绝微调实现快速流畅的扩散语言模型

Created by
  • Haebom

作者

徐英彬、李东河、金在亨、杨振英

大纲

为了解决自回归 (AR) 语言模型的推理速度限制，我们提出了一种基于扩散的语言模型，该模型能够并行解码多个 token。为了解决现有扩散语言模型的关键问题——解码窗口过长（远离输入上下文的 token 缺乏相关性且重复出现），我们提出了一种基于无边界正则化的卷积解码 (Conv) 方法，以提高流畅度和灵活性。此外，我们引入了基于拒绝规则的微调 (R2FT)，以更好地对齐远离上下文的 token。所提出的方法在开放生成基准测试中优于现有的扩散语言模型，在速度和质量方面均有提升。

Takeaways, Limitations

•
Takeaways：
◦
通过解决扩散模型的长解码窗口问题来提高生成质量和速度。
◦
使用 Conv 和 R2FT 提高扩散语言模型的性能。
◦
与开放生成基准中的现有扩散语言模型相比，实现了卓越的性能。
•
Limitations：
◦
本文的具体Limitations未在摘要中说明。
👍
Made with Slashpage