每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

法学硕士（LLM）是否遵循标签定义？考察他们对外部标签定义的接受能力

Created by
  • Haebom

作者

Seyedali Mohammadi、Bhaskara Hanuma Vedula、Hemank Lamba、Edward Raff、Ponnurangam Kumaraguru、Francis Ferraro、Manas Gaur

大纲

为了探究LLM是否真正融入了外部定义，还是主要依赖于参数知识，我们在多个解释性基准数据集和各种标签定义条件（包括专家策展、LLM生成、转换和交换定义）上进行了对照实验。结果表明，虽然显式标签定义可以提高准确性和可解释性，但它们与LLM任务求解过程的整合既无法保证，也难以保持一致。这表明，在许多情况下，它们依赖于隐式表示。模型通常默认使用内部表示，尤其是在处理一般任务时。相比之下，特定领域的任务更受益于显式定义。

Takeaways, Limitations

•
明确的标签定义可以提高准确性和可解释性。
•
外部定义并未一致地融入到 LLM 的任务解决过程中。
•
在典型任务中，模型倾向于优先考虑内部表示。
•
特定领域的任务更受益于明确的定义。
•
需要更深入地了解法学硕士如何处理预先训练的技能和外部知识。
👍
Made with Slashpage