计算机应用

作者：张小川, 戴旭尧, 刘璐, 冯天硕

单位：1. 重庆理工大学 两江人工智能学院, 重庆 401135;2. 重庆理工大学 计算机科学与工程学院, 重庆 400054

关键词：中文短文本,文本分类,多头自注意力机制,卷积神经网络,特征融合

基金：国家自然科学基金资助项目（61702063）；重庆市自然科学基金资助项目（cstc2019jcyj-msxmX0544）。

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。

来源：2020年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第12期