每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

用于高效测试时间推理的熵门控分支

Created by
  • Haebom

作者

李先志、伊桑·卡拉南、阿卜杜拉·加塞尔、朱晓丹

大纲

测试时计算方法可有效提升大规模语言模型 (LLM) 的推理能力和问题求解精度，但需要耗费大量计算资源。本文针对在探索模型置信度较高但多样性较低的分支时浪费计算资源的问题，提出了“熵门控分支 (EGB)”方法，该方法在不确定性较高的推理阶段进行分支，并使用轻量级验证器对扩展进行修剪。EGB 在数学和金融推理基准测试中，准确率比标准推理提高了 22.6%，在数学基准测试中，其性能优于测试时集束搜索，运行速度提高了 31% 至 75%。这表明，在推理过程中动态分配资源可以显著提高效率和有效性。

Takeaways, Limitations

•
Takeaways：
◦
提出一种有效的测试时间计算方法来提高LLM的推理能力。
◦
通过高不确定性水平下的 EGB 分支减少计算资源浪费
◦
证明了数学和金融推理基准的性能和效率的提高。
◦
提出了通过动态资源分配来提高LLM性能的可能性。
•
Limitations：
◦
论文中没有提及具体的 Limitations（例如，难以推广到其他基准、轻量级验证器的局限性等）
◦
虽然重点在于提高计算效率，但在提高模型本身的基本推理能力方面可能存在局限性。
👍
Made with Slashpage