tiny_schiller让小模型一键接入德语文学文本，无需复杂预处理。
TINY_SCHILLER: A Drop-In German Drama Corpus for Small Language Models
- 单文件2.07MB，直接加载德语席勒戏剧文本，无需解析工程。
- 支持字符级、BPE和token化三种分词方式，可直接用于训练或微调。
- 适合教育、研究与小模型原型开发，尤其适合快速实验的开发者。
tiny_schiller填补了德语文学文本在小型语言模型原型设计、微调、教学与研究中的空白，提供一个2.07兆字节的单文件替代方案，类似Karpathy的tiny_shakespeare。现有德语文学语料库虽更丰富，但需复杂解析工程才能使用。tiny_schiller源自DraCor的GerDraCor导出（CC0），经确定性解析处理，包含11部公共领域席勒戏剧。支持字符级、GPT-2字节对编码及cl100k_base分词，提供指令格式对话补全数据集和89个角色级别的分拆数据，仅需一次HuggingFace调用即可加载。小语言模型只需一行代码即可访问德语文学文本。
原文摘要 · Abstract (English)
tiny_schiller closes the small-language-model prototyping, fine-tuning, education, and research gap for German literary text, providing a single-file, drop-in counterpart to Karpathy's tiny_shakespeare. The available German literary corpora are larger and richer, but require parser engineering before a single line of training or fine-tuning code can run. tiny_schiller is a 2.07-megabyte single file of eleven public-domain Schiller dramas, sourced from DraCor's GerDraCor export (CC0) and processed by deterministic parser engineering. Character-level, GPT-2 byte-pair encoding, and cl100k_base tokenization splits, an instruction-formatted dialogue-completion split, and 89 per-character persona splits load from a single HuggingFace call. A small language model literally reaches German literary text in one line of code.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。