每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

在标签稀缺的情况下，预训练深度模型在学习排序方面的表现优于 GBDT

Created by
  • Haebom

作者

查理·侯、Kiran Koshy Thekumparampil、Michael Shavlovsky、Giulia Fanti、Yesh Dattatreya、Sujay Sanghavi

大纲

本文论证了现有研究中深度学习 (DL) 模型在处理异常数据方面的表现不如梯度提升决策树 (GBDT)，并指出这种现象仅限于理想情况。考虑到现实场景的复杂性，我们证明了 DL 模型在标签稀疏的表格学习排名 (LTR) 问题上的表现优于 GBDT。具体而言，表格 LTR 应用（例如搜索和推荐）通常缺少标签，但也包含大量未标记数据。本文论证了 DL 排名模型可以通过无监督预训练利用这些未标记数据。在公共和专有数据集上进行的大量实验表明，预训练的 DL 排名模型在排名指标上始终优于 GBDT 排名模型（最高可提高 38%）。

Takeaways, Limitations

•
Takeaways：我们通过实验证明，预训练的深度学习模型在标签稀缺的表格 LTR 问题上的表现优于 GBDT 模型，从而扩展了深度学习模型的实际应用范围。我们还提出了一种通过无监督预训练有效利用未标记数据的方法。
•
Limitations：本文的实验结果仅限于特定数据类型（未标记的表格 LTR 数据），需要进一步研究其普遍性。由于缺乏关于所用专有数据集的详细信息，可能需要验证结果的可重复性。由于这是特定模型之间的比较，而不是各种深度学习模型与 GBDT 模型的比较，因此可能需要进行更广泛的模型比较研究。
👍
Made with Slashpage