计算机应用

作者：刘然, 刘宇, 顾进广

单位：1. 武汉科技大学 计算机科学与技术学院, 武汉 430065;2. 智能信息处理与实时工业系统湖北省重点实验室(武汉科技大学), 武汉 430065;3. 武汉科技大学 大数据科学与工程研究院, 武汉 430065;4. 国家新闻出版署富媒体数字出版内容组织与知识服务重点实验室(武汉科技大学), 北京 100038

关键词：AdaNet,神经架构搜索,集成学习,自适应学习率方法,自动机器学习

基金：国家自然科学基金资助项目（U1836118，61673004）；教育部新一代信息技术创新项目（2018A03025）；国家社会科学基金重大计划项目（11&ZD189）。

人工神经网络的自适应结构学习（AdaNet）是基于Boosting集成学习的神经结构搜索框架，可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著，因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中，使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放，得到更分散的权重分布，以增加AdaNet产生子网的多样性，从而降低集成学习的泛化误差。实验结果表明，在MNIST（Mixed National Institute of Standards and Technology database）、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上，改进后的优化算法能提升AdaNet的搜索速度，而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上，改进后的方法相较于原方法，在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。

来源：2020年第10期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第10期