计算机应用

作者：张宇, 蔡英, 崔剑阳, 张猛, 范艳芳

单位：北京信息科技大学 计算机学院，北京 100101

关键词：卷积神经网络,差分隐私,动量梯度下降算法,深度学习,隐私保护

基金：北京市自然科学基金-海淀原始创新联合基金资助项目(L192023)

针对卷积神经网络（CNN）模型的训练过程中，模型参数记忆数据部分特征导致的隐私泄露问题，提出一种CNN中基于差分隐私的动量梯度下降算法（DPGDM）。首先，在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声，并用加噪后的梯度值参与模型参数的更新过程，从而实现对模型整体的差分隐私保护；其次，为了减少引入差分隐私噪声对模型收敛速度的影响，设计学习率衰减策略，改进动量梯度下降算法；最后，为了降低噪声对模型准确率的影响，在模型优化过程中动态地调整噪声尺度的值，从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明，与DP-SGD （Differentially Private Stochastic Gradient Descent）相比，所提算法可以在隐私预算为0.3和0.5时，模型准确率分别提高约5和4个百分点。可见，所提算法提高了模型的可用性，并实现了对模型的隐私保护。

来源：2023年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第12期