计算机应用

作者：李建明, 陈斌, 江志伟, 覃健

单位：1.中国科学院 成都计算机应用研究所, 成都 610041；2.中国科学院大学, 北京 100049；3.哈尔滨工业大学(深圳) 国际人工智能研究院, 广东 深圳 518055；4.中科院广州电子技术有限公司, 广州 510070

关键词：卷积神经网络,网络架构搜索,可微分架构搜索,架构确定性,架构熵

可微分架构搜索（DARTS）可高效、自动地设计神经网络架构，但其超网络的构建方式与派生策略的设计之间存在性能“鸿沟”。针对上述问题，提出了优化搜索空间下带约束的可微分神经网络架构搜索算法。首先，以候选操作关联的架构参数为量化指标来分析超网络的训练过程，发现在派生架构中未生效的候选操作none占据了权重最大的架构参数，从而导致算法搜得的架构表现欠佳，针对该问题设计了优化的搜索空间；然后，分析了DARTS超网络与派生架构之间的差异后，以架构参数为基础定义了架构熵，并把架构熵作为DARTS超网络目标函数的约束项，从而促使超网络缩小与派生架构的差异；最后，在CIFAR-10数据集上进行了实验。实验结果表明，所提算法在其中搜得的架构取得了97.17%的分类准确率，综合准确率、参数量和搜索时间优于对比算法。所提出的算法是有效的，提升了搜得架构在CIFAR-10数据集上的准确率。

来源：2022年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第1期