计算机应用

作者：陈玉娜, 史晓东

单位：厦门大学 信息学院, 福建 厦门 361005

关键词：机器同传,标点恢复,Focal Loss,自动语音识别,预训练语言模型

基金：国家社会科学基金重点项目（16AZD049）；国家语委语言文字科研项目优秀成果后期资助计划项目（WT135-38）。

在机器同传（MSI）流水线系统中，将自动语音识别（ASR）的输出直接输入神经机器翻译（NMT）中会产生语义不完整问题，为解决该问题，提出基于BERT（Bidirectional Encoder Representation from Transformers）和Focal Loss的模型。首先，将ASR系统生成的几个片段缓存并组成一个词串；然后，使用基于BERT的序列标注模型恢复该词串的标点符号，并利用Focal Loss作为模型训练过程中的损失函数来缓解无标点样本比有标点样本多的类别不平衡问题；最后，将标点恢复后的词串输入NMT中。在英-德和汉-英翻译上的实验结果表明，在翻译质量上，使用提出的标点恢复模型的MSI，比将ASR输出直接输入NMT的MSI分别提高了8.19 BLEU和4.24 BLEU，比使用基于注意力机制的双向循环神经网络标点恢复模型的MSI分别提高了2.28 BLEU和3.66 BLEU。因此所提模型可以有效应用于MSI中。

来源：2020年第4期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第4期