计算机应用

作者：龙广玉, 陈益强, 邢云冰

单位：1. 湘潭大学 计算机学院·网络空间安全学院, 湖南 湘潭 411105;2. 中国科学院 计算技术研究所, 北京 100190

关键词：连续手语识别,N元语言模型,文本调序,双向长短记忆网络,量词补全

基金：国家重点研发计划项目（2018YFC2002603）。

针对基于视频的连续手语识别的文本结果存在语义模糊、语序混乱的问题，提出一种两步法将连续手语识别结果的手语文本转化为通顺、可懂的汉语文本。第一步，基于自然手语规则以及N元语言模型（N-gram）对连续手语识别的结果进行文本调序；第二步，利用汉语通用量词数据集训练双向长短期记忆（Bi-LSTM）网络模型，以解决手语语法无量词的问题，从而提升语句通顺度。使用绝对准确率和最长正确子序列占比作为文本调序的评价指标，实验结果显示，所提方法的文本调序结果绝对准确率为77.06%，最长正确子序列占比为86.55%，量词补全准确率为97.23%。所提的方法能够有效提升连续手语识别的文本结果的通畅度和可懂度，已成功应用于基于视频的连续手语识别，提升了听障人和健听人的无障碍交流体验。

来源：2021年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第3期