每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

类型兼容的级联适配:使程序化的语言模型工作流适应数据

Created by
  • Haebom

作者

林楚成、彭岱怡、路一峰、张明、Eugene Ie

大纲

为复杂的多步骤工作流可靠地构建大规模语言模型 (LLM) 是一项关键挑战。传统方法(例如优化流水线中的单个提示)难以实现结构化任务所需的形式化合规性。本文介绍了类型兼容自适应级联 (TACs) 框架,该框架将工作流自适应重新解释为类型化的概率程序学习。TACs 将整个工作流(由参数高效适配的 LLM 和确定性逻辑组成)视为非正则化的联合分布。这使得即使在潜在的中间结构中也能进行基于原则的梯度学习。此外,我们证明,随着模型学习类型合规性,优化偏差会消失,这为有效的优化目标提供了理论基础。实验表明,TACs 的表现优于最先进的基于提示优化的模型。具体而言,在结构化任务上,FinQA 在 Qwen 3 8B 模型上的准确率从 12.0% 提升至 24.7%,MGSM-SymPy 在 Gemma 2 27B 模型上的准确率从 57.1% 提升至 75.9%,MGSM 在 Gemma 7B 模型上的准确率从 1.6% 提升至 27.3%,MuSR 则从 36.5% 提升至 62.6%。TAC 为开发可靠且符合任务要求的 LLM 系统提供了稳健且理论支撑的范例。

Takeaways, Limitations

Takeaways:
提出了一种用于复杂工作流的 LLM 配置新框架。
与结构化任务中的现有方法相比,性能有显著的提升。
提出通过类型合规性解决优化偏差问题的理论基础。
通过基于梯度的训练实现学习潜力。
Limitations:
论文中没有具体说明Limitations。
👍