计算机应用

作者：李灿, 杨雅婷, 马玉鹏, 董瑞

单位：1.中国科学院 新疆理化技术研究所，乌鲁木齐 830000；2.中国科学院大学，北京 100049；3.新疆民族语音语言信息处理实验室（中国科学院 新疆理化技术研究所），乌鲁木齐 830000

关键词：相似语种,语料扩充,机器翻译,字节对编码,音节切分,基于音节切分的字节对编码,“开始-中部-结束”序列标注方法

基金：国家自然科学基金资助项目(U1703133);国家重点研发计划项目(2017YFC0822505-04);中国科学院“西部之光”人才培养计划A类项目(2017-XBQNXZ-A-005);中国科学院青年创新促进会项目(2017472号);新疆高层次引进人才项目(新人社函［2017］699号)

针对低资源语言机器翻译任务上一直存在的标注数据资源匮乏问题，提出了基于语种相似性挖掘的神经机器翻译语料库扩充方法。首先，将维吾尔语和哈萨克语作为相似语言对并将其语料进行混合；然后，对混合后的语料分别进行字节对编码（BPE）处理、音节切分处理以及基于音节切分的BPE处理，从而深度挖掘哈语和维语的相似性；最后，引入“开始-中部-结束（BME）”序列标注方法对语料中已切分完成的音节进行标注，以消除音节输入所带来的一些歧义。在CWMT2015维汉平行语料和哈汉平行语料上的实验结果表明，所提方法相较于不进行特殊语料处理以及BPE语料处理训练所得普通模型在维吾尔语-汉语翻译上的双语评估替补（BLEU）值分别提升了9.66、4.55，在哈萨克语-汉语翻译上的BLEU值分别提升了9.44、4.36。所提方案实现了维语和哈语到汉语的跨语言神经机器翻译，提升了维吾尔语-汉语和哈萨克语-汉语机器翻译的翻译质量，可应用于维语和哈语的语料处理。

来源：2021年第11期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第11期