计算机应用

作者：沈君凤, 周星辰, 汤灿

单位：湖北大学 人工智能学院，武汉 430062

关键词：提示学习,BERT,ALBERT,对抗训练,图卷积神经网络

基金：湖北大学大学生创新创业训练项目(X202110512067)

针对先前提示学习方法中存在的模板迭代更新周期长、泛化能力差等问题，基于改进的提示学习方法提出一种双通道的情感分析模型。首先，将序列化后的提示模板与输入词向量一起引入注意力机制结构，在输入词向量在多层注意力机制中更新的同时迭代更新提示模板；其次，在另一通道采用ALBERT（A Lite BERT （Bidirectional Encoder Representations from Transformers））模型提取语义信息；最后，输出用集成方式提取的语义特征，提升整体模型的泛化能力。所提模型在SemEval2014的Laptop和Restaurants数据集、ACL（Association for Computational Linguistics）的Twitter数据集和斯坦福大学创建的SST-2数据集上进行实验，分类准确率达到80.88%、91.78%、76.78%和95.53%，与基线模型BERT_Large相比，分别提升0.99%、1.13%、3.39%和2.84%；与P-tuning v2相比，所提模型的分类准确率在Restaurants数据集、Twitter数据集以及SST-2数据集上分别有2.88%、3.60%和2.06%的提升，且比原方法更早达到收敛状态。

来源：2024年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第6期