arXiv:2409.19824cs.IRcs.AI2024-09中稿 · the CONSEQUENCES'2…被引 6
用领域自适应奖励模型，高效评估广告排序模型效果。
Counterfactual Evaluation of Ads Ranking Models through Domain Adaptation
- 构建领域自适应奖励模型，配合离线A/B测试
- 在大规模广告推荐中优于传统IPS和非泛化奖励模型
- 适合需要精准评估排序模型的工业级推荐系统
我们提出一种领域自适应的奖励模型，可与离线A/B测试系统协同，用于评估大规模广告推荐系统中的排序模型。该方法在模型无关的IPS方法不可行的场景下，仍能有效衡量排序模型变更带来的收益。实验表明，所提技术在性能上优于原始IPS方法以及使用非泛化奖励模型的方案。
原文摘要 · Abstract (English)
We propose a domain-adapted reward model that works alongside an Offline A/B testing system for evaluating ranking models. This approach effectively measures reward for ranking model changes in large-scale Ads recommender systems, where model-free methods like IPS are not feasible. Our experiments demonstrate that the proposed technique outperforms both the vanilla IPS method and approaches using non-generalized reward models.
广告排序离线评估域适应
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。