计算机应用

作者：李想, 王卫兵, 尚学达

单位：哈尔滨理工大学 计算机科学与技术学院, 哈尔滨 150080

关键词：生成式文本摘要,注意力机制,Transformer,覆盖损失,指针生成网络

基金：国家自然科学基金资助项目（61673142）。

针对生成式文本摘要应用场景，提出了以Transformer为基础的摘要模型，并在Transformer模型中加入了指针生成（Pointer Generator）网络和覆盖损失（Coverage Loss）进行优化。首先，提出了基于Transformer模型作为基础结构的方法，利用其注意力机制更好地捕捉上下文的语意信息。然后，在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围，从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后，在模型中加入了Pointer Generator网络，从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖（OOV）的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点，在ROUGE-L评测函数上得分提升了2.27个百分点，并提升了摘要结果的可读性及准确性。实验结果表明，Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。

来源：2021年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第6期