每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

ENIGMA：大型语言模型中的推理和对齐几何

Created by
  • Haebom

作者

Gareth Seneque、何立恒、Nafise Erfanian Saeedi、Jeffrey Molendijk、Ariel Kuperman、Tim Elson

大纲

ENIGMA 是一种训练大规模语言模型 (LLM) 的全新方法，它将组织策略/原则视为沿着模型信息流形移动的方向，从而共同提升推理、对齐和鲁棒性。单循环训练器结合了组相关策略优化 (GRPO)、一种仅使用 CoT 格式奖励的在线策略、无评判的强化学习方法、一个基于互信息 (SAMI) 的对称信息流形辅助器，以及一个基于隐藏状态分布的熵 Sinkhorn 最优传输正则化器，以限制几何漂移。此外，为了衡量模型 CoT 编码这些策略的强度，我们引入了一个特定于匹配否定下标准 MI 下限的信息流形指标。这些指标包括充分性指数 (SI)，它能够在训练前选择和生成能够最大化下游性能的原则。

Takeaways，Limitations

•
Takeaways：
◦
我们提出了一种新方法，通过将它们投射到单个信息几何目标中来改善 LLM 训练中的推理、对齐和稳健性。
◦
开发一种无需补偿模型即可进行原则推理的方法。
◦
引入充分性指数 (SI) 指标来预测训练前的下游性能。
◦
与使用小型 LLM (1B) 的 GRPO 消融相比，表现出更好的基准性能和稳定的训练动态。
◦
通过对训练模型的信息几何分析来验证流形中理想的结构变化。
•
Limitations：
◦
所提出的实验仅限于小型 LLM (1B)。
◦
需要在大型模型中进行性能验证。
◦
本文中没有具体提及Limitations。
👍
Made with Slashpage