计算机应用

作者：龚龙超, 郭军军, 余正涛

单位：1.昆明理工大学 信息工程与自动化学院，昆明 650504；2.云南省人工智能重点实验室（昆明理工大学），昆明 650504

关键词：自然语言处理,神经机器翻译,句法信息,Transformer,增强解码,外部知识融入

基金：国家自然科学基金资助项目(61866020);科技创新2030—“新一代人工智能”重大项目(2020AAA0107904);云南省应用基础研究计划项目(2019FB082)

当前性能最优的机器翻译模型之一Transformer基于标准的端到端结构，仅依赖于平行句对，默认模型能够自动学习语料中的知识；但这种建模方式缺乏显式的引导，不能有效挖掘深层语言知识，特别是在语料规模和质量受限的低资源环境下，句子解码缺乏先验约束，从而造成译文质量下降。为了缓解上述问题，提出了基于源语言句法增强解码的神经机器翻译（SSED）方法，显式地引入源语句句法信息指导解码。所提方法首先利用源语句句法信息构造句法感知的遮挡机制，引导编码自注意力生成一个额外的句法相关表征；然后将句法相关表征作为原句表征的补充，通过注意力机制融入解码，共同指导目标语言的生成，实现对模型的先验句法增强。在多个IWSLT及WMT标准机器翻译评测任务测试集上的实验结果显示，与Transformer基线模型相比，所提方法的BLEU值提高了0.84~3.41，达到了句法相关研究的最先进水平。句法信息与自注意力机制融合是有效的，利用源语言句法可指导神经机器翻译系统的解码过程，显著提高译文质量。

来源：2022年第11期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第11期