计算机应用

作者：夏飞, 陈帅琦, 华珉, 蒋碧鸿

单位：1.上海电力大学 自动化工程学院, 上海 200090；2.国网上海电力公司 电力科学研究院, 上海 200437；3.上海电力大学 图书馆 上海 200090

关键词：中文分词,领域分词,改进BERT,电力文本,深度学习,自然语言处理

基金：国家电网科技项目(52094020001A)

针对电力领域中文文本包含大量专有词时分词效果不佳的问题，提出一种基于改进BERT （Bidirectional Encoder Representation from Transformers）的电力领域中文分词（CWS）方法。首先，构建分别涵盖通用、领域词的词典，并设计双词典匹配融合机制将词特征直接融入BERT模型，使模型更有效地利用外部知识；其次，通过引入DEEPNORM方法提高模型对于特征的提取能力，并使用贝叶斯信息准则（BIC）确定模型的最佳深度，使BERT模型稳定加深至40层；最后，采用ProbSparse自注意力机制层替换BERT模型中的经典自注意力机制层，并利用粒子群优化（PSO）算法确定采样因子的最优值，在降低模型复杂度的同时确保模型性能不变。在人工标注的电力领域专利文本数据集上进行了分词性能测试。实验结果表明，所提方法在该数据集分词任务中的F1值达到了92.87%，相较于隐马尔可夫模型（HMM）、多标准分词模型METASEG（pre-training model with META learning for Chinese word SEGmentation）与词典增强型BERT（LEBERT）模型分别提高了14.70、9.89与3.60个百分点，验证了所提方法有效提高了电力领域中文文本的分词质量。

来源：2023年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第12期