计算机应用

作者：韩玉民, 郝晓燕

单位：太原理工大学 信息与计算机学院，太原 030600

关键词：命名实体识别,子词嵌入,相对注意力,深度学习,材料领域

基金：山西省软科学研究计划项目(2019041055-1);京大学科研技术项目(203290929-J)

准确识别命名实体有助于构建专业知识图谱、问答系统等。基于深度学习的命名实体识别（NER）技术已广泛应用于多种专业领域，然而面向材料领域的NER研究相对较少。针对材料领域NER中可用于监督学习的数据集规模小、实体词复杂度高等问题，使用大规模非结构化的材料领域文献数据来训练基于一元语言模型（ULM）的子词嵌入分词模型，并充分利用单词结构蕴含的信息来增强模型鲁棒性；提出以BiLSTM-CRF模型（双向长短时记忆网络与条件随机场结合的模型）为基础并结合能够感知方向和距离的相对多头注意力机制（RMHA）的实体识别模型，以提高对关键词的敏感程度。得到的BiLSTM-RMHA-CRF模型结合ULM子词嵌入方法，相比BiLSTM-CNNs-CRF和SciBERT等模型，在固体氧化物燃料电池（SOFC）NER数据集上的宏平均F1值（Macro F1值）提高了2~4个百分点，在SOFC细粒度实体识别数据集上的Macro F1值提高了3~8个百分点。实验结果表明，基于子词嵌入和相对注意力的识别模型能够有效提高材料领域实体的识别准确率。

来源：2022年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第6期