计算机应用

作者：孙邱杰, 梁景贵, 李思

单位：北京邮电大学 人工智能学院，北京 100876

关键词：数据增强,中文语法纠错,文本噪声,深度学习,序列到序列模型,BART噪声器

基金：国家自然科学基金资助项目(61702047)

在中文语法纠错中，基于神经机器翻译的方法被广泛应用，该方法在训练过程中需要大量的标注数据才能保障性能，但中文语法纠错的标注数据较难获取。针对标注数据有限导致中文语法纠错系统性能不佳问题，提出一种基于BART噪声器的中文语法纠错模型——BN-CGECM。首先，为了加快模型的收敛，使用基于BERT的中文预训练语言模型对BN-CGECM的编码器参数进行初始化；其次，在训练过程中，通过BART噪声器对输入样本引入文本噪声，自动生成更多样的含噪文本用于模型训练，从而缓解标注数据有限的问题。在NLPCC 2018数据集上的实验结果表明，所提模型的F0.5值比有道开发的中文语法纠错系统（YouDao）提高7.14个百分点，比北京语言大学开发的集成中文语法纠错系统（BLCU_ensemble）提高6.48个百分点；同时，所提模型不增加额外的训练数据量，增强了原始数据的多样性，且具有更快的收敛速度。

来源：2022年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第3期