计算机应用

作者：李治瑾, 赖华, 文永华, 高盛祥

单位：1.昆明理工大学 信息工程与自动化学院，昆明 650504；2.云南省人工智能重点实验室（昆明理工大学），昆明 650504

关键词：神经机器翻译,双向依存注意力,多头注意力,父词,子词

基金：国家自然科学基金资助项目(61732005);云南省重大科技专项(202002AD080001?5);云南省高新技术产业专项(201606)

针对神经机器翻译中资源稀缺的问题，提出了一种基于双向依存自注意力机制（Bi-Dependency）的依存句法知识融合方法。首先，利用外部解析器对源句子解析得到依存解析数据；然后，将依存解析数据转化为父词位置向量和子词权重矩阵；最后，将依存知识融合到Transformer编码器的多头注意力机制上。利用Bi-Dependency，翻译模型可以同时对父词到子词、子词到父词两个方向的依存信息进行关注。双向翻译的实验结果表明，与Transformer模型相比，在富资源情况下，所提方法在汉-泰翻译上的BLEU值分别提升了1.07和0.86，在汉-英翻译上的BLEU值分别提升了0.79和0.68；在低资源情况下，所提方法在汉-泰翻译上的BLEU值分别提升了0.51和1.06，在汉-英翻译上的BLEU值分别提升了1.04和0.40。可见Bi-Dependency为模型提供了更丰富的依存信息，能够有效提升翻译性能。

来源：2022年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第12期