每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

大型语言模型对文本扰动的鲁棒性

Created by
  • Haebom

作者

阿尤什·辛格、纳普里特·辛格、舒巴姆·瓦萨尔

对法学硕士论文中形态变化的稳健研究

大纲

本文探讨了大规模语言模型 (LLM) 对文本形态噪声的鲁棒性,并强调了在现实环境中实现“干净数据”(自然语言处理 (NLP) 系统的基本前提)的难度。我们通过向各种数据集人为添加噪声来系统地评估 LLM 的鲁棒性。我们发现,与 BERT 和 RoBERTa 等现有的预训练模型相比,生成式 LLM 对噪声具有更强的鲁棒性。此外,我们在多个模拟真实世界错误的基准测试中测试了 LLM 的性能,在语法纠错 (GEC) 和词汇语义变化 (LSC) 方面取得了最佳表现。我们发布了一个人工标注的数据集,该数据集表明了人们对 LLM 和人工标注结果的偏好,并提供了用于复现结果的代码。

Takeaways, Limitations

Takeaways:
生成式 LLM 对文本噪声具有鲁棒性,并表现出与现有模型不同的特性。
LLM 即使在包含真实错误的数据上也表现良好,在 GEC 和 LSC 基准上实现了最先进的性能。
通过发布代码和人工注释的数据集来复制我们的研究结果,为未来的研究做出贡献。
Limitations:
本文中使用的噪声类型和数据集可能无法代表所有现实世界的情况。
可能需要对 LLM 的稳健性进行进一步的分析和解释。
👍