每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

AutoPDL：LLM 代理的自动提示优化

Created by
  • Haebom

作者

克劳迪奥·斯皮斯、曼达纳·瓦齐里、路易斯·曼德尔、马丁·赫泽尔

大纲

鉴于大规模语言模型 (LLM) 的性能会因提示方法的不同而有所差异，本文提出了 AutoPDL，它可以自动发现 LLM 代理的良好设置。它将这个问题作为一个结构化的 AutoML 问题来处理：探索代理和非代理提示模式及演示的组合空间，并使用连续减半法高效地探索该空间。我们引入了一个使用 PDL 提示编程语言实现常见提示模式的库，AutoPDL 解决方案由一个人类可读、可编辑且可执行的 PDL 程序组成。这种方法支持源到源的优化，并通过人工参与支持改进和复用。对三项任务和七个 LLM（参数数量从 3B 到 70B）的评估表明，准确率持续提升（$9.21\pm15.46$ 个百分点），最高提升幅度为 67.5 个百分点。此外，我们证明了所选的提示策略在不同模型和任务之间会有所不同。

Takeaways, Limitations

•
Takeaways：
◦
一种自动化 LLM 代理设置的新方法。
◦
AutoPDL 在各种 LLM 和任务中显示出一致的准确性改进。
◦
提供以人为本且可重复使用的解决方案
◦
表明所选的提示策略因模型和任务而异。
•
Limitations：
◦
论文中没有具体说明Limitations。
👍
Made with Slashpage