10亿参数的私密版Gemma模型，训练全程保隐私。

VaultGemma: A Differentially Private Gemma Model

• 用差分隐私技术训练10亿参数Gemma模型
• 在与Gemma 2同源数据上预训练，隐私保障更强
• 开源发布，适合关注隐私安全的开发者

我们提出VaultGemma 1B，一个10亿参数的Gemma系列模型，通过差分隐私完成全部训练。该模型在与Gemma 2系列相同的混合数据集上进行预训练，标志着隐私保护型大语言模型的重要进展。我们已向社区公开发布此模型。

原文摘要 · Abstract (English)

We introduce VaultGemma 1B, a 1 billion parameter model within the Gemma family, fully trained with differential privacy. Pretrained on the identical data mixture used for the Gemma 2 series, VaultGemma 1B represents a significant step forward in privacy-preserving large language models. We openly release this model to the community

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。