计算机应用

作者：张海丰, 曾诚, 潘列, 郝儒松, 温超东, 何鹏

单位：1.湖北大学 计算机与信息工程学院，武汉 430062；2.湖北省软件工程工程技术研究中心，武汉 430062；3.智慧政务与人工智能应用湖北省工程研究中心，武汉 430062

关键词：预训练语言模型,文本分类,新闻主题,BERT,特征投影网络

基金：国家自然科学基金资助项目(61977021)

针对新闻主题文本用词缺乏规范、语义模糊、特征稀疏等问题，提出了结合BERT和特征投影网络（FPnet）的新闻主题文本分类方法。该方法包含两种实现方式：方式1将新闻主题文本在BERT模型的输出进行多层全连接层特征提取，并将最终提取到的文本特征结合特征投影方法进行提纯，从而强化分类效果；方式2在BERT模型内部的隐藏层中融合特征投影网络进行特征投影，从而通过隐藏层特征投影强化提纯分类特征。在今日头条、搜狐新闻、THUCNews-L、THUCNews-S数据集上进行实验，实验结果表明上述两种方式相较于基线BERT方法在准确率、宏平均F1值上均具有更好的表现，准确率最高分别为86.96%、86.17%、94.40%和93.73%，验证了所提方法的可行性和有效性。

来源：2022年第4期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第4期