每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

低资源菲律宾语言中零样本跨语言命名实体识别的元预训练

Created by
  • Haebom

作者

大卫·德米特里·阿非利加、苏希尔·萨尔汉、尤瓦尔·韦斯、宝拉·巴特里、理查德·迪尔·马丁内斯

大纲

作者研究了在内存和延迟有限的环境中预训练小规模解码器语言模型 (LM) 是否能够快速适应未知语言和零样本迁移。具体而言,他们使用一种方法,用一阶模型不可知元学习 (MAML) 取代模型的部分自回归目标。实验在塔加拉语和宿务语上进行,结果表明 MAML 可以提高零样本微 F1 分数并缩短收敛时间。

Takeaways, Limitations

使用 MAML 提升小规模解码器 LM 的零样本 NER 性能
提出了解决塔加拉语和宿务语等低资源语言的 NER 问题的可能性。
仅调整头部时,F1 微调可提高 2-6%,调整整个头部时,F1 微调可提高 1-3%
收敛时间缩短高达 8%
强调表面锚点的重要性(与他加禄语格助词 Si/ni 一起出现的单标记人称实体)
测试的语言数量限制为两种。
实验针对各种模型大小(11M - 570M)进行
👍