每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

函数归纳与任务泛化：基于差一加法的可解释性研究

Created by
  • Haebom

作者

叶沁园、贾罗宾、任向

大纲

本文探讨了大规模语言模型 (LLM) 通过上下文学习执行新任务的能力。本文探讨了 LLM 内部使用非一加法 (1+1=3、2+2=5、3+3=?) 的泛化机制。我们运用电路式分析技术，分析了模型的内部计算，并揭示了模型从标准加法泛化到非一加法的原理。具体而言，我们发现了 +1 函数的诱导机制、通过多个注意力头并行生成 +1 函数，以及该机制在不同任务（例如，移位多项选择题问答和八进制加法）中的复用。

Takeaways, Limitations

•
Takeaways：
◦
深入了解可重用和可配置的内部结构，实现 LLM 的任务级泛化。
◦
+1 通过函数诱导机制解释模型的泛化过程。
◦
一种使用并行注意力头生成 +1 函数的方法。
◦
验证该机制在各种任务中的可重用性。
•
Limitations：
◦
论文中没有具体说明Limitations。（仅根据提供的信息无法确定。）
👍
Made with Slashpage