计算机应用

作者：冯明皓, 张天伦, 王林辉, 陈荣, 连少静

单位：1. 大连海事大学 信息科学技术学院, 辽宁 大连 116026;2. 河北大学 数学与信息科学学院, 河北 保定 071002

关键词：神经网络模型,深度学习,正则化方法,弹性网模型,过拟合

基金：国家自然科学基金资助项目（61672122，61402070，61602077）；辽宁省自然科学基金资助项目（20170540097，2015020023）；辽宁省科学事业公益研究基金资助项目（GY-2017-0005）；中央高校基本科研业务费资助项目（3132019207，3132019355）。

由于具有较高的模型复杂度，深层神经网络容易产生过拟合问题，为了减少该问题对网络性能的不利影响，提出一种基于改进的弹性网模型的深度学习优化方法。首先，考虑到变量之间的相关性，对弹性网模型中的L1范数的不同变量进行自适应加权，从而得到L2范数与自适应加权的L1范数的线性组合。其次，将改进的弹性网络模型与深度学习的优化模型相结合，给出在这种新正则项约束下求解神经网络参数的过程。然后，推导出改进的弹性网模型在神经网络优化中具有群组选择能力和Oracle性质，进而从理论上保证该模型是一种更加鲁棒的正则化方法。最后，在多个回归问题和分类问题的实验中，相对于L1、L2和弹性网正则项，该方法的回归测试误差可分别平均降低87.09、88.54和47.02，分类测试准确度可分别平均提高3.98、2.92和3.58个百分点。由此，在理论和实验两方面验证了改进的弹性网模型可以有效地增强深层神经网络的泛化能力，提升优化算法的性能，解决深度学习的过拟合问题。

来源：2019年第10期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第10期