每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

通过残差量化为预排序赋予目标注意力

Created by
  • Haebom

作者

李雨桐、朱雨、乔一尘、关子宇、邵吕、刘童、郑波

大纲

工业推荐系统的预排序阶段面临着效率与效果之间的根本冲突。虽然像目标注意力 (TA) 这样的强大模型擅长在排序阶段捕捉复杂的特征交互，但它们高昂的计算成本使其不适用于依赖于简单向量积模型的预排序。这种差异会给整个系统带来性能瓶颈。为了弥补这一差距，本文提出了一个全新的预排序框架 TARQ。受生成模型的启发，TARQ 的核心创新在于通过残差量化将一个近似 TA 的架构应用于预排序。这使得我们首次将 TA 的建模性能应用于对延迟至关重要的预排序阶段，从而在准确率和效率之间建立了一种全新的最佳平衡点。大量的线下实验和在淘宝上的大规模线上 A/B 测试证明了 TARQ 在排序性能方面的显著提升。目前，我们的模型已全面部署到生产环境中，服务于数千万日活跃用户，并带来了显著的业务改进。

Takeaways, Limitations

•
Takeaways：
◦
将 TA 强大的建模能力应用到预排序阶段，我们提出了一种在准确性和效率之间新的最先进的折衷方案。
◦
通过大规模在线A/B测试验证真实环境中的性能改进，实现显著的业务改进。
◦
展示为数千万活跃用户提供服务的真实部署成功案例。
•
Limitations：
◦
需要进一步研究通过残差量化近似 TA 的方法的泛化性能和局限性。
◦
需要进一步的实验来确定各种推荐系统环境中的适用性和泛化性能。
◦
该模型针对特定的业务环境（淘宝）进行了优化，因此其在其他环境中的表现还有待进一步评估。
👍
Made with Slashpage