计算机应用

作者：王月, 王孟轩, 张胜, 杜渂

单位：1.迪爱斯信息技术股份有限公司，上海 200032；2.电信科学技术第一研究所，上海 200032

关键词：警情文本,命名实体识别,预训练语言模型,标注规范,词向量

基金：上海市信息化发展（大数据发展）专项资金资助项目(201901043);上海市产业转型升级专项资金（产业技术创新）资助项目(JJ-YJCX-01-18-3418)

针对警情领域关键实体信息难以识别的问题，提出一种基于BERT的神经网络模型BERT-BiLSTM-Attention-CRF用于识别和提取相关命名实体，且针对不同案由设计了相应的实体标记注规范。该模型使用BERT预训练词向量代替传统Skip-gram和CBOW等方式训练的静态词向量，提升了词向量的表证能力，同时解决了中文语料采用字向量训练时词语边界的划分问题；还使用注意力机制改进经典的命名实体识别（NER）模型架构BiLSTM-CRF。BERT-BiLSTM-Attention-CRF模型在测试集上的准确率达91%，较CRF++的基准模型提高7%，也高于BiLSTM-CRF模型86%的准确率，其中相关人名、损失金额、处理方式等实体的F1值均高于0.87。

来源：2020年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第2期