计算机应用

作者：吕学强, 彭郴, 张乐, 董志安, 游新冬

单位：网络文化与数字传播北京市重点实验室（北京信息科技大学），北京 100101

关键词：多标签分类,BERT,标签语义信息,双向长短期记忆神经网络,注意力机制

基金：北京市自然科学基金资助项目(4212020);青海省藏文信息处理与机器翻译重点实验室/藏文信息处理教育部重点实验室开放课题基金资助项目(2019Z002)

多标签文本分类（MLTC）是自然语言处理（NLP）领域的重要子课题之一。针对多个标签之间存在复杂关联性的问题，提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT。首先，通过对自编码预训练模型进行微调，从而学习输入文本的上下文向量表示；然后，使用长短期记忆（LSTM）神经网络将标签进行单独编码；最后，利用注意力机制显性突出文本对每个标签的贡献，以预测多标签序列。实验结果表明，与基于序列生成模型（SGM）算法相比，所提出的方法在AAPD与RCV1-v2公开数据集上，F1值分别提高了2.8个百分点与1.5个百分点。

来源：2022年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第1期