每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

SelfBudgeter：高效 LLM 推理的自适应令牌分配

Created by
  • Haebom

作者

李正、董清秀、马静远、张迪、贾凯、隋志芳

大纲

本文提出了一个用户友好、自适应且可控的推理框架 SelfBudgeter，以解决那些擅长处理复杂问题的推理模型往往会过度思考简单问题的问题。SelfBudgeter 在推理前集成了预算估算机制，并采用双重训练方法。首先，模型学习以标准化格式预测令牌预算。通过强化学习阶段，模型被训练成根据问题难度自主规划并严格遵守预算。SelfBudgeter 在流程早期输出预算估算，允许用户预测等待时间并通过预填充的预算字段手动控制推理长度。实验结果表明，SelfBudgeter 根据问题复杂度动态分配预算，在 GSM8K、MATH500 和 AIME2025 数据集上，15 亿模型的平均响应长度压缩率达到 61%，7 亿模型的平均响应长度压缩率达到 48%，同时保持了近乎完美的准确率。

Takeaways, Limitations

•
Takeaways：
◦
改善用户体验：等待时间预测可以灵活地决定是否中断或继续生产过程。
◦
提高资源效率：根据问题难度通过动态预算分配来压缩响应长度。
◦
可控性：通过预先填充的预算字段手动控制推理长度。
◦
保持模型性能：尽管响应长度压缩，但仍保持高精度。
•
Limitations：
◦
有关更详细的信息，包括具体的模型架构、数据集和训练方法，请参阅原始论文。
◦
需要进一步研究不同问题类型和模型大小的泛化性能。
◦
需要进一步评估用户控制功能的实际可用性和有效性。
👍
Made with Slashpage