每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

语言模型无法反思其语言知识

Created by
  • Haebom

作者

宋思源、胡珍妮、凯尔·马霍瓦尔德

大纲

本文系统地考察了 21 个开源大型语言模型 (LLM) 在语法知识和词汇预测方面的内省能力 (introspection)。鉴于模型的内部语言知识理论上可以通过字符串概率的直接测量来支持，我们评估了模型对元语言提示的响应对其内部知识的反映程度。我们提出了一个新颖的内省指标，用于衡量模型的提示响应预测其自身字符串概率的程度，并评估其是否优于其他具有类似内部知识的模型的预测。虽然元语言提示和概率比较都达到了较高的任务准确率，但我们没有发现任何证据表明 LLM 拥有特权的“自我访问”。通过全面评估各种开源模型并控制模型相似性，我们提供了新的证据，支持以下断言：LLM 无法进行内省，并且提示响应不应与模型的语言泛化相混淆。

Takeaways，Limitations

•
Takeaways：一项关于法学硕士（LLM）自我反思能力的系统研究表明，LLM 缺乏自我反思能力。该研究强调，快速反应不应简单地等同于模型的内在语言知识。所提出的新自我反思测量方法可以成为评估 LLM 自我反思能力的有效工具。
•
Limitations：本研究仅限于开源LLM课程，闭源LLM课程的自我反思技能仍需进一步研究。由于本研究仅关注语法知识和词汇预测两个领域，因此其他领域的自我反思技能也需要进一步研究。
👍
Made with Slashpage