计算机应用

作者：李嘉欣, 莫思特

单位：四川大学 电气工程学院，成都 610065

关键词：台区电力工单,文本分类,预训练模型,图注意力网络,标签平滑

基金：国家电网有限公司科技项目(52199922000M)

台区电力工单记录反映了台区运行工况和用户需求，是制定台区用电安全管理制度和满足台区用户用电需求的重要依据。针对台区电力工单高复杂性和强专业性给台区工单分类带来的难题，提出一种融合标签平滑（LS）与预训练语言模型的台区电力工单分类模型（MiniRBT-LSTM-GAT）。首先，利用预训练模型计算电力工单文本中的字符级特征向量表示；其次，采用双向长短期记忆网络（BiLSTM）捕捉电力文本序列中的依赖关系；再次，通过图注意力网络（GAT）聚焦对文本分类贡献大的特征信息；最后，利用LS改进损失函数以提高模型的分类精度。所提模型与当前主流的文本分类算法在农网台区电力工单数据集（RSPWO）、浙江省95598电力工单数据集（ZJPWO）和THUCNews（TsingHua University Chinese News）数据集上的实验结果表明，与电力审计文本多粒度预训练语言模型（EPAT-BERT）相比，所提模型在RSPWO、ZJPWO上的查准率和F1值分别提升了2.76、2.02个百分点和1.77、1.40个百分点；与胶囊神经网络模型BRsyn-caps（capsule network based on BERT and dependency syntax）相比，所提模型在THUCNews数据集上的查准率和准确率分别提升了0.76和0.71个百分点。可见，所提模型有效提升了台区电力工单分类的性能，并在THUCNews数据集上表现良好，验证了模型的通用性。

来源：2025年第4期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第4期