SPLADE在百亿级网页标题检索中效果优于传统方法，且可通过优化提升效率。
Efficiency and Effectiveness of SPLADE Models on Billion-Scale Web Document Title
- 使用稀疏词法表示的SPLADE模型，针对复杂查询表现更优。
- 在亿级数据上，Expanded-SPLADE在准确率和速度间取得最佳平衡。
- 通过剪枝策略降低计算开销，适合大规模搜索引擎部署。
本文系统比较了BM25、SPLADE与Expanded-SPLADE模型在大规模网页文档标题检索中的有效性和效率。实验基于从数千万到数十亿规模的文档标题数据集进行。SPLADE与Expanded-SPLADE利用稀疏词法表示，在复杂查询场景下显著优于BM25，但计算成本较高。为此，我们提出文档中心剪枝、前k个查询词选择及带阈值的布尔查询等剪枝策略，有效降低计算开销，同时保持较高的检索性能。结果表明，Expanded-SPLADE在处理大规模数据时，在有效性与效率之间达到最佳平衡。研究为稀疏检索模型在大规模搜索引擎中的实际部署提供了重要参考。
原文摘要 · Abstract (English)
This paper presents a comprehensive comparison of BM25, SPLADE, and Expanded-SPLADE models in the context of large-scale web document retrieval. We evaluate the effectiveness and efficiency of these models on datasets spanning from tens of millions to billions of web document titles. SPLADE and Expanded-SPLADE, which utilize sparse lexical representations, demonstrate superior retrieval performance compared to BM25, especially for complex queries. However, these models incur higher computational costs. We introduce pruning strategies, including document-centric pruning and top-k query term selection, boolean query with term threshold to mitigate these costs and improve the models' efficiency without significantly sacrificing retrieval performance. The results show that Expanded-SPLADE strikes the best balance between effectiveness and efficiency, particularly when handling large datasets. Our findings offer valuable insights for deploying sparse retrieval models in large-scale search engines.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。