用词义压缩技术实现文本90%以上tokens减少，同时保持语义清晰。
Hypernym Mercury: Token Optimization Through Semantic Field Constriction And Reconstruction From Hypernyms. A New Text Compression Method
- 通过上位词重构原文语义场，实现词级文本压缩。
- 在多个模型和文风中实现超90%的令牌压缩率。
- 适合对大模型输入做轻量化处理的研究者与工程师。
利用大语言模型提示词的令牌削减进行计算优化，是自然语言处理与下一代智能体人工智能中的新兴任务。本文介绍一种新型（专利待批）文本表示方案及首个词级语义压缩方法，可实现超过90%的令牌减少，同时保留源文本的高语义相似性。我们解释了该压缩技术如何实现无损，并说明细节粒度可调控。在开源数据集（如古腾堡计划提供的布拉姆·斯托克《德古拉》）上的基准测试表明，该方法在段落级别、多种文体和模型间均表现稳定。
原文摘要 · Abstract (English)
Compute optimization using token reduction of LLM prompts is an emerging task in the fields of NLP and next generation, agentic AI. In this white paper, we introduce a novel (patent pending) text representation scheme and a first-of-its-kind word-level semantic compression of paragraphs that can lead to over 90% token reduction, while retaining high semantic similarity to the source text. We explain how this novel compression technique can be lossless and how the detail granularity is controllable. We discuss benchmark results over open source data (i.e. Bram Stoker's Dracula available through Project Gutenberg) and show how our results hold at the paragraph level, across multiple genres and models.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。