计算机应用

作者：梁一鸣, 范菁, 柴汶泽

单位：1.云南民族大学 电气信息工程学院，昆明 650504；2.云南省无人自主系统重点实验室（云南民族大学），昆明 650504；3.云南省高校信息与通信安全灾备重点实验室（云南民族大学），昆明 650504

关键词：BERT,细粒度情感分类,多尺度特征融合,数据增强,混合损失函数,双向交叉注意力

基金：教育部人文社会科学研究青年基金资助项目(20YJCZH129);云南省吴中海专家工作站项目(202305AF150045);云南省教育厅教学仪器装备中心项目;教育部-新一代信息技术创新项目(2023IT077)

针对现有情感分类模型在深层情感理解上的局限性、传统注意力机制的单向性束缚以及自然语言处理（NLP）中的类别不平衡等问题，提出一种融合多尺度BERT（Bidirectional Encoder Representations from Transformers）特征和双向交叉注意力机制的情感分类模型M-BCA（Multi-scale BERT features with Bidirectional Cross Attention）。首先，从BERT的低层、中层和高层分别提取多尺度特征，以捕捉句子文本的表面信息、语法信息和深层语义信息；其次，利用三通道门控循环单元（GRU）进一步提取深层语义特征，从而增强模型对文本的理解能力；最后，为促进不同尺度特征之间的交互与学习，引入双向交叉注意力机制，从而增强多尺度特征之间的相互作用。此外，针对不平衡数据问题，设计数据增强策略，并采用混合损失函数优化模型对少数类别样本的学习。实验结果表明，在细粒度情感分类任务中，M-BCA表现优异。M-BCA在处理分布不平衡的多分类情感数据集时，它的性能显著优于大多数基线模型。此外，M-BCA在少数类别样本的分类任务中表现突出，尤其是在NLPCC 2014与Online_Shopping_10_Cats数据集上，M-BCA的少数类别的Macro-Recall领先其他所有对比模型。可见，该模型在细粒度情感分类任务中取得了显著的性能提升，并适用于处理不平衡数据集。

来源：2025年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第9期