计算机应用

作者：董永峰, 白佳明, 王利琴, 王旭

单位：1.河北工业大学 人工智能与数据科学学院, 天津 300401；2.河北省大数据计算重点实验室(河北工业大学), 天津 300401；3.河北省数据驱动工业智能工程研究中心(河北工业大学), 天津 300401

关键词：命名实体识别,注意力机制,卷积神经网络,双向长短时记忆,条件随机场

基金：河北省高等学校科学技术研究项目(ZD2022082);河北省高等教育教学改革研究与实践项目(2022GJJG049);河北省研究生教育教学改革研究项目(YJG2023023)

针对命名实体识别（NER）任务中相关模型通常仅对字符及相关词汇进行建模，未充分利用汉字特有的字形结构信息和实体类型信息的问题，提出一种融合先验知识和字形特征的命名实体识别模型。首先，采用结合高斯注意力机制的Transformer对输入序列进行编码，并从中文维基百科中获取实体类型的中文释义，采用双向门控循环单元（BiGRU）编码实体类型信息作为先验知识，利用注意力机制将它与字符表示进行组合；其次，采用双向长短时记忆（BiLSTM）网络编码输入序列的远距离依赖关系，通过字形编码表获得繁体的仓颉码和简体的现代五笔码，采用卷积神经网络（CNN）提取字形特征表示，并根据不同权重组合繁体与简体字形特征，利用门控机制将它与经过BiLSTM编码后的字符表示进行组合；最后，使用条件随机场（CRF）解码，得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明，与基线模型MECT（Multi-metadata Embedding based Cross-Transformer）相比，所提模型的F1值别提高了2.47、1.20和0.98个百分点，验证了模型的有效性。

来源：2024年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第3期