每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

理解合成数据中的偏差以进行评估

Created by
  • Haebom

作者

侯赛因·A·拉赫马尼、瓦尔莎·拉米尼、艾敏·耶尔马兹、尼克·克拉斯韦尔、巴斯卡·米特拉

大纲

本文研究了使用大规模语言模型 (LLM) 生成的合成测试集的可靠性。我们研究了使用 LLM 生成查询、标签或两者的合成测试集的潜在偏差，并分析了它们对系统评估的影响。结果表明，使用合成测试集进行评估存在偏差，这表明虽然偏差可能会影响绝对系统性能测量，但在比较相对系统性能时，偏差可能不那么显著。

Takeaways, Limitations

•
使用 LLM 生成的合成测试集合可能会给系统评估带来偏差。
•
合成测试集合中引入的偏差可能会影响绝对系统性能测量。
•
对于相对系统性能的比较，合成测试集合中的偏差可能影响较小。
•
需要进一步分析来验证合成测试集合的可用性。
•
代码和数据可以在https://github.com/rahmanidashti/BiasSyntheticData找到。
👍
Made with Slashpage