计算机应用

作者：余杭, 周艳玲, 翟梦鑫, 刘涵

单位：1.湖北大学 计算机与信息工程学院，武汉 430062；2.深圳大学 计算机科学与软件学院，广东 深圳 518060

关键词：文本分类,预训练模型,交互注意力,标签嵌入,RoBERTa

基金：湖北省教育厅科学技术研究项目(D20221006)

对海量的用户文本评论数据进行准确分类具有重要的经济效益和社会效益。目前大部分文本分类方法是将文本编码直接使用于各式的分类器之前，而忽略了标签文本中蕴含的提示信息。针对以上问题，提出一种基于RoBERTa（Robustly optimized BERT pretraining approach）的文本和标签信息融合分类模型（TLIFC-RoBERTa）。首先，利用RoBERTa预训练模型获得词向量；然后，利用孪生网络结构分别训练文本和标签向量，通过交互注意力将标签信息映射到文本上，达到将标签信息融入模型的效果；最后，设置自适应融合层将文本表示与标签表示紧密融合进行分类。在今日头条和THUCNews数据集上的实验结果表明，相较于将Labelatt（Label-based attention improved model）中使用的静态词向量改为RoBERTa-wwm训练后的词向量算法（RA-Labelatt）、RoBERTa结合基于标签嵌入的多尺度卷积初始化文本分类算法（LEMC-RoBERTa）等主流深度学习模型，TLIFC-RoBERTa的精度最高，对于用户评论数据集有最优的分类效果。

来源：2024年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第3期