计算机应用

作者：程俊华, 曾国辉, 鲁敦科, 黄勃

单位：上海工程技术大学 电子电气工程学院, 上海 201620

关键词：深度学习,卷积神经网络,Dropout正则化,过拟合,模型平均

基金：国家自然科学基金资助项目（61603242）；江西省经济犯罪侦查与防控技术协同创新中心开放课题（JXJZXTCX-030）。

针对深度卷积神经网络（CNN）中的过拟合问题，提出一种基于Dropout改进CNN的模型预测平均方法。首先，训练阶段在池化层引入Dropout，使得池化层单元值具有稀疏性；然后，在测试阶段将训练时池化层Dropout选择单元值的概率与池化区域各单元值所占概率相乘作为双重概率；最后，将提出的双重概率加权的模型平均方法应用于测试阶段，使得训练阶段池化层Dropout的稀疏效果能够更好地反映到测试阶段池化层上，从而使测试错误率达到与训练的较低错误率相近的结果。在给定大小的网络中所提方法在MNIST和CIFAR-10数据集上的测试错误率分别为0.31%和11.23%。实验结果表明：仅考虑池化层对结果的影响，所提方法与Prob.weighted pooling和Stochastic Pooling方法相比具有更低的错误率，表明池化层Dropout使得模型更具泛化性，并且池化单元值对于模型泛化具有一定帮助，能够更有效避免过拟合。

来源：2019年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第6期