真实网页数据构建的10万级结构化生成数据集，助力大模型精准输出合规JSON。
ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation
- 从真实用户行为中采集9.3万条带模式约束的提取数据，含网页内容、提示词与模式
- 覆盖1.8万+种模式，英语和繁体中文占内容总量88%，每条含结构合规标签
- 适合训练和评估大模型在实际应用中的结构化生成能力，尤其关注模式复杂度影响
现代大语言模型在工具使用、结构化提取与知识库构建中，依赖于输出符合指定JSON模式的能力。然而现有公开数据集规模小、多为合成或纯文本，且极少同时包含真实页面内容与实际使用的提示词及模式。我们提出ScrapeGraphAI-100k，基于2025年第二至第三季度用户自愿上报的Telemetry数据，从900万原始事件中清洗并平衡出93,695个模式约束的抽取事件。该语料库涵盖18,000多个唯一模式，涉及15种命名语言及长尾“其他”类别，其中英语与繁体中文占比达88%。每个实例包含经Markdown转换的页面内容、提示词、模式、大模型响应以及由jsonschema-rs生成的结构合规标签（语义正确性不在本版本范围内，原始HTML将延至v1.0）。我们分析了语料中结构多样性，并识别出随着模式复杂度上升的显著失败阈值。案例研究显示，一个17亿参数的学生模型在该数据上微调后，其输出分布可紧密追踪其GPT-5-nano教师模型表现，但仍落后于300亿参数的A3B参考模型（33亿活跃参数）在模式合规性上的表现。该蒸馏结果初步表明，在大规模真实工作负载基础上构建的模式约束生成训练与评测，是以往合成或纯文本语料无法支持的。
原文摘要 · Abstract (English)
Producing output that conforms to a specified JSON schema underlies tool use, structured extraction, and knowledge base construction in modern large language models. Despite this centrality, public datasets for the task remain small, synthetic, or text-only, and rarely pair real page content with the prompts and schemas used in practice. We introduce ScrapeGraphAI-100k, 93,695 schema-constrained extraction events collected via opt-in ScrapeGraphAI telemetry in Q2--Q3 2025, deduplicated and balanced by schema from 9M raw events. The corpus spans 18 000+ unique schemas across 15 named languages plus a long-tail Other category, with English and Traditional Chinese covering 88% of detected content, each instance pairs Markdown-converted page content with a prompt, schema, LLM response, and per-example jsonschema-rs structural conformance labels (semantic correctness is out of scope, and raw HTML is deferred beyond v1.0). We characterize structural diversity across the corpus and identify sharp failure thresholds as schema complexity grows. As a case study, a 1.7B student fine-tuned on this data closely tracks the output distribution of its GPT-5-nano teacher, though it still trails a 30B-A3B reference (3.3B active parameters) on schema compliance. We offer this distillation result as preliminary evidence that grounding schema-constrained generation in real practitioner workloads at scale enables training and benchmarking that prior synthetic or text-only corpora could not support.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。