提出新方法消除本地差分隐私数据中的偏差，提升分类准确率。
Learning with Locally Private Examples by Inverse Weierstrass Private Stochastic Gradient Descent
- 用魏尔斯特拉斯变换反推隐私数据中的偏差，修正非线性函数估计。
- 新算法IWP-SGD以1/n速率收敛到真实最优解，理论性能强。
- 适合关注隐私保护下模型精度的机器学习研究者使用。
在非交互式本地差分隐私（LDP）下一次性发布数据可实现数据完全重用，但引入的噪声可能导致后续分析产生偏差。本文利用魏尔斯特拉斯变换刻画二分类任务中的这种偏差，并证明逆变换可实现偏差校正，从而得到在LDP发布数据上非线性函数的无偏估计。基于此，我们构建了一种新型随机梯度下降算法——逆魏尔斯特拉斯隐私随机梯度下降（IWP-SGD）。该算法以 $/mathcal{O}(1/n)$ 的速率收敛至真实总体风险最小化点，其中 $n$ 为样本数量。我们在合成数据和真实世界数据集上对二分类任务进行了实验验证，结果表明 IWP-SGD 有效提升了模型性能。
原文摘要 · Abstract (English)
Releasing data once and for all under noninteractive Local Differential Privacy (LDP) enables complete data reusability, but the resulting noise may create bias in subsequent analyses. In this work, we leverage the Weierstrass transform to characterize this bias in binary classification. We prove that inverting this transform leads to a bias-correction method to compute unbiased estimates of nonlinear functions on examples released under LDP. We then build a novel stochastic gradient descent algorithm called Inverse Weierstrass Private SGD (IWP-SGD). It converges to the true population risk minimizer at a rate of $\mathcal{O}(1/n)$, with $n$ the number of examples. We empirically validate IWP-SGD on binary classification tasks using synthetic and real-world datasets.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。