用扩散模型做序列标注,每步都做结构化推理,效果更好。
Diffusion-MF: Approximate Structured Diffusion for Sequence Labelling
- 在去噪过程中嵌入线性链条件随机场,实现每步结构化推理。
- 多语言词性标注、命名实体识别等任务上均达最优性能。
- 采用并行平均场加速,兼顾效率与精度,适合序列标注场景。
我们提出 Diffusion-MF,一种离散扩散序列标注模型,将线性链条件随机场(LCRF)嵌入去噪循环中。与以往扩散标注器不同,它在每一步都执行结构化推理;通过并行平均场(Mean-Field)实现高效计算。在多语言词性标注(POS)、CoNLL-2003 命名实体识别(NER)以及中文分词与词性标注联合任务中,Diffusion-MF 在所有实验设置下均取得最佳主指标结果。
原文摘要 · Abstract (English)
We introduce Diffusion-MF, a discrete diffu- sion sequence labeller that places a linear-chain conditional random field (LCRF) inside the denoising loop. Unlike prior diffusion labellers, it performs structured inference at every step; parallel Mean-Field makes this efficient. Across multilingual POS, CoNLL-2003 NER, and joint Chinese Segmentation and POS, Diffusion-MF achieves the best primary result across all experimental settings.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。