计算机应用

作者：侯旭东, 滕飞, 张艺

单位：西南交通大学 计算机与人工智能学院，成都 611756

关键词：命名实体识别,自编码网络,双向长短期记忆网络,注意力机制,多任务

基金：中央高校基本科研业务费专项(2682020ZT92)

针对在医疗命名实体识别（MNER）问题中随着网络加深，基于深度学习的识别模型出现的识别精度与算力要求不平衡的问题，提出一种基于深度自编码的医疗命名实体识别模型CasSAttMNER。首先，使用编码与解码间深度差平衡策略，以经过蒸馏的Transformer语言模型RBT6作为编码器以减小编码深度以及降低对训练和应用上的算力要求；然后，使用双向长短期记忆（BiLSTM）网络和条件随机场（CRF）提出了级联式多任务双解码器，从而完成实体提及序列标注与实体类别判断；最后，基于自注意力机制在实体类别中增加实体提及过程抽取的隐解码信息，以此来优化模型设计。实验结果表明，CasSAttMNER在两个中文医疗实体数据集上的F值度量可分别达到0.943 9和0.945 7，较基线模型分别提高了3个百分点和8个百分点，验证了该模型更进一步地提升了解码器性能。

来源：2022年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第9期