计算机应用

作者：李亚鸣, 邢凯, 邓洪武, 王志勇, 胡璇

单位：1.中国科学技术大学 计算机科学与技术学院, 合肥 230027；2.中国科学技术大学 苏州高等研究院, 江苏 苏州 215123

关键词：资本资产定价模型,Wasserstein距离,无梯度学习,自注意力机制,预训练模型

针对卷积结构的深度学习模型在小样本学习场景中泛化性能较差的问题，以AlexNet和ResNet为例，提出一种基于小样本无梯度学习的卷积结构预训练模型的性能优化方法。首先基于因果干预对样本数据进行调制，由非时序数据生成序列数据，并基于协整检验从数据分布平稳性的角度对预训练模型进行定向修剪；然后基于资本资产定价模型（CAPM）以及最优传输理论，在预训练模型中间输出过程中进行无需梯度传播的正向学习并构建一种全新的结构，从而生成在分布空间中具有明确类间区分性的表征向量；最后基于自注意力机制对生成的有效特征进行自适应加权处理，并在全连接层对特征进行聚合，从而生成具有弱相关性的embedding向量。实验结果表明所提出的方法能够使AlexNet和ResNet卷积结构预训练模型在ImageNet 2012数据集的100类图片上的Top-1准确率分别从58.82%、78.51%提升到68.50%、85.72%，可见所提方法能够基于小样本训练数据有效提高卷积结构预训练模型的性能。

来源：2022年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第2期