计算机应用

作者：徐关友, 冯伟森

单位：四川大学 计算机学院，成都 610065

关键词：命名实体识别,词边界,python,词信息,transformer

最近一些基于字符的命名实体识别（NER）模型无法充分利用词信息，而利用词信息的格子结构模型可能会退化为基于词的模型而出现分词错误。针对这些问题提出了一种基于transformer的python NER模型来编码字符-词信息。首先，将词信息与词开始或结束对应的字符绑定；然后，利用三种不同的策略，将词信息通过transformer编码为固定大小的表示；最后，使用条件随机场（CRF）解码，从而避免获取词边界信息带来的分词错误，并提升批量训练速度。在python数据集上的实验结果可以看出，所提模型的F1值比Lattice-LSTM模型高2.64个百分点，同时训练时间是对比模型的1/4左右，说明所提模型能够防止模型退化，提升批量训练速度，更好地识别python命名实体。

来源：2022年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第9期