每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

语言模型可以发现缩放规律吗？

Created by
  • Haebom

作者

林浩伟、叶浩天、冯文正、黄曲哲、李宇军、林浩然、李正瑞、王翔宇、马建柱、邹俊杰、梁一涛

大纲

本文旨在自动化发现用于模型性能预测的缩放规律。基于先前研究中收集的 5,000 多个实验数据，我们提出了七种不同的缩放规律发现任务。为了克服现有智能体的局限性，我们开发了 SLDAgent，这是一个基于进化的智能体，它通过协同优化缩放规律模型和参数，自主探索变量之间的复杂关系。SLDAgent 能够自动发现在外推方面始终优于现有人工推导规律的规律，在预训练和微调应用中展现出实用性。这项研究为基于智能体的科学发现提供了一种新的范式，表明人工智能系统能够理解自身的缩放行为，并为研究界贡献新的知识。

Takeaways，Limitations

•
Takeaways：
◦
SLDAgent 自动发现新的缩放定律，其外推性能比现有的基于人类的缩放定律更准确。
◦
SLDAgent 发现的规律可以实际应用于预训练和微调。
◦
人工智能系统为理解和促进自我扩展行为的研究提供了新的可能性。
◦
提出基于代理的科学发现的新范式。
•
Limitations：
◦
论文中没有提到Limitations。（论文摘要中没有直接提到Limitations。）
👍
Made with Slashpage