计算机应用

作者：金泽熙, 李磊, 刘继

单位：1.新疆财经大学 统计与数据科学学院, 乌鲁木齐 830012；2.新疆社会经济统计与大数据应用研究中心(新疆财经大学), 乌鲁木齐 830012

关键词：迁移学习,领域分离网络,胶囊网络,注意力机制,自然语言处理

基金：国家自然科学基金资助项目(71762028)

为进一步提高迁移学习的特征识别和提取效率、减少负迁移并增强模型的学习性能，提出了一种基于改进领域分离网络（DSN）的迁移学习模型AMCN-DSN（Attention Mechanism Capsule Network-DSN）。首先，使用融合多头注意力机制的胶囊网络（MHAC）完成源域和目标域特征信息的提取与重构，基于注意力机制有效筛选特征信息，并利用胶囊网络提高深层信息的提取质量；其次，引入动态对抗因子优化重构损失函数，使重构器可动态衡量源域与目标域信息的相对重要性，从而增强迁移学习的鲁棒性和提升收敛速度；最后，在分类器中融入多头自注意力机制，以强化对公有特征的语义理解并提高分类性能。在情感分析实验中，相较于其他迁移学习模型，所提模型能够将学习到的知识迁移到数据量少但相似性高的任务中，分类性能的下降幅度最小，迁移表现较好；在意图识别实验中，相较于分类性能次优的胶囊网络改进领域对抗神经网络（DANN+CapsNet）模型，所提模型的精确度、召回率和F1值分别提升了4.5%、4.3%和4.4%，表明所提模型在处理小数据问题和个性化问题上具有一定优势。与DSN相比，AMCN-DSN在上述两类实验目标域上的F1值分别提高了6.0%和12.4%，进一步验证了改进模型的有效性。

来源：2023年第8期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第8期