计算机应用

作者：朱相荣, 王磊, 杨雅婷, 董瑞, 张俊

单位：1. 中国科学院新疆理化技术研究所, 乌鲁木齐 830011;2. 中国科学院大学, 北京 100049;3. 中国科学院新疆理化技术研究所 新疆民族语音语言信息处理实验室, 乌鲁木齐 830011

关键词：维吾尔语,机器翻译,解码速度,翻译质量,非自回归模型

基金：国家重点研发计划项目（2017YFC0820703）；中国科学院“西部之光”人才培养引进计划项目（2017-XBQNXZ-A-005）

现有的基于循环神经网络、卷积神经网络和Transformer的自回归翻译模型，虽然都具有良好的翻译性能，但由于解码并行性较低导致了翻译速度慢的问题，针对这个问题提出一种基于非自回归模型的优化学习率策略的方法。在基于迭代优化的非自回归序列模型的基础上，改变学习率调节方法，即把warm up替换为liner annealing方法。首先评估出liner annealing优于warm up方法，然后将liner annealing应用于非自回归序列模型以得到翻译质量和解码速度的最优平衡，最后将该方法与自回归模型的方法作对比。实验结果表明该方法相较于自回归模型Transformer，当解码速度提升1.74倍时，翻译质量的双语评估替换（BLEU）分数值为41.31，可达到Transformer的95.34%。由此可见，采用liner annealing的非自回归序列模型，在降低少许翻译质量的条件下，能够有效地提升解码速度，适用于对翻译速度需求迫切的平台。

来源：2020年第7期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第7期