用损失函数正则化实现数据隐私保护，比传统方法更高效。

Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization

• 通过修改损失函数实现差分隐私，无需改造优化算法
• 在多个数据集上保持高精度，隐私预算ε≤1.0时仍有效
• 适合需保护训练数据的医疗、金融等敏感领域

基于神经网络的机器学习模型训练依赖大规模数据集，其中可能包含敏感信息。然而，模型不应泄露这些数据中的私密信息。差分隐私随机梯度下降（DP-SGD）需要对标准随机梯度下降（SGD）算法进行修改以实现隐私保护。本文提出一种新型正则化策略，在不改变标准SGD算法的前提下，更高效地实现相同目标。该方法通过在损失函数中引入差分隐私正则项，使模型在训练过程中自然地抑制对敏感数据的记忆。实验表明，该方法在MNIST、CIFAR-10和Adult数据集上均实现了良好的隐私-效用权衡，在ε ≤ 1.0的隐私预算下，准确率损失小于5%。

原文摘要 · Abstract (English)

Training machine learning models based on neural networks requires large datasets, which may contain sensitive information. The models, however, should not expose private information from these datasets. Differentially private SGD [DP-SGD] requires the modification of the standard stochastic gradient descent [SGD] algorithm for training new models. In this short paper, a novel regularization strategy is proposed to achieve the same goal in a more efficient manner.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。