每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

SSA-COMET：在评估资源匮乏的非洲语言的机器翻译方面，法学硕士 (LLM) 的表现是否优于学习指标？

Created by
  • Haebom

作者

李森宇、王佳一、Felermino DMA Ali、Colin Cherry、Daniel Deutsch、Eleftheria Briakou、Rui Sousa-Silva、Henrique Lopes Cardoso、Pontus Stenetorp、David Ifeoluwa Adelani

大纲

为了应对资源匮乏的非洲语言机器翻译 (MT) 质量评估挑战，本研究引入了一个涵盖 14 个非洲语言对的大规模人工注释 MT 评估数据集 (SSA-MTE)。SSA-MTE 包含来自新闻领域的超过 73,000 条句子级注释，我们基于该数据集开发了改进的基于参考和无参考的评估指标 SSA-COMET 和 SSA-COMET-QE。我们还使用 GPT-4o、Claude-3.7 和 Gemini 2.5 Pro 等最先进的 LLM 对基于提示的方法进行了基准测试。实验结果表明，SSA-COMET 模型的性能显著优于 AfriCOMET，并与 Gemini 2.5 Pro 相媲美，尤其对于特维语、卢奥语和约鲁巴语等资源匮乏的语言而言。本研究中使用的所有资源均在开放许可下发布。

Takeaways, Limitations

•
Takeaways：
◦
通过构建大规模人工注释数据集（SSA-MTE）为非洲语言机器翻译评估研究做出了贡献。
◦
开发改进的评估指标，例如 SSA-COMET 和 SSA-COMET-QE。
◦
GPT-4o、Claude-3.7、Gemini 2.5 Pro 等 LLM 的性能基准测试，以及与 SSA-COMET 的比较分析。
◦
展示了 SSA-COMET 在 Twi、Luo 和 Yoruba 等低资源语言中的卓越性能。
◦
通过提供研究成果的开放许可来促进研究激活。
•
Limitations：
◦
数据仅限于新闻领域。
◦
基于 LLM 的方法仍然不是表现最好的（与 Gemini 2.5 Pro 相比）。
◦
依赖于特定的 LLM。
◦
未来需要更多的语言对和领域扩展。
👍
Made with Slashpage