计算机应用

作者：赵亚欧, 张家重, 李贻斌, 付宪瑞, 生伟

单位：1. 浪潮集团 金融信息技术有限公司, 济南 250101;2. 济南大学 信息科学与工程学院, 济南 250022;3. 山东大学 控制科学与工程学院, 济南 250061

关键词：情感分析,自然语言处理,卷积神经网络,ELMo,字向量

基金：国家重点研发计划云计算和大数据重点专项（2016YFB1001100，2016YFB1001104）；国家自然科学基金青年项目（61702218）。

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题，提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先，该模型利用ELMo学习预训练语料，生成上下文相关的词向量；相较于传统词嵌入技术，ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征，能够精确表示多义词的多个不同语义；此外，该模型使用预训练的中文字符向量初始化ELMo的嵌入层，相对于随机初始化，该方法可加快模型的训练速度，提高训练精度；然后，该模型利用多尺度卷积神经网络，对词向量的特征进行二次抽取，并进行特征融合，生成句子的整体语义表示；最后，经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行，实验结果表明，在酒店评论数据集上与基于注意力的双向LSTM模型相比，该模型正确率提升了1.08个百分点，在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比，该模型正确率提升了2.16个百分点，证明了所提方法的有效性。

来源：2020年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第3期