计算机应用

作者：谭金源, 刁宇峰, 祁瑞华, 林鸿飞

单位：1. 大连理工大学 计算机科学与技术学院, 辽宁 大连 116024;2. 大连外国语大学 语言智能研究中心, 辽宁 大连 116024

关键词：生成式摘要模型,预训练语言模型,多维语义特征,指针生成网络,coverage机制

基金：国家重点研发计划项目（2019YFC1200302）；国家自然科学基金重点项目（61632011）。

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题，基于BERT和指针生成网络（PGN），提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络（BERT-PGN）。首先，利用BERT预训练语言模型结合多维语义特征获取词向量，从而得到更细粒度的文本上下文表示；然后，通过PGN模型，从词表或原文中抽取单词组成摘要；最后，结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议（NLPCC2017）单文档中文新闻摘要评测数据集上的实验结果表明，与PGN、伴随注意力机制的长短时记忆神经网络（LSTM-attention）等模型相比，结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分，生成的摘要内容更加丰富，全面且有效地减少重复、冗余内容的生成，Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。

来源：2021年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第1期