计算机应用

作者：王雅伦, 张仰森, 朱思文

单位：北京信息科技大学 智能信息处理研究所，北京 100101

关键词：生成式标题,自适应位置编码,Transformer,知识推理,自然语言处理

基金：国家自然科学基金资助项目(62176023)

义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型（SDLM）是主流模型之一，但它在处理长文本序列时编码能力有限，未充分考虑位置关系，易引入噪声知识进而影响生成标题的质量。针对上述问题，提出一种基于Transformer的生成式标题模型Tran-A-SDLM（Transformer Adaption based Sememe-Driven Language Model with positional embedding and knowledge reasoning）。该模型充分结合自适应位置编码和知识推理机制的优势。首先，引入Transformer模型以增强模型对文本序列的编码能力；其次，利用自适应位置编码机制增强模型的位置感知能力，从而增强对上下文义原知识的学习；此外，引入知识推理模块，用于表示义原知识，并指导模型生成准确标题；最后，为验证Tran-A-SDLM的优越性，在大规模中文短文本摘要（LCSTS）数据集上进行实验。实验结果表明，与RNN-context-SDLM相比，Tran-A-SDLM在ROUGE-1、ROUGE-2和ROUGE-L值上分别提升了0.2、0.7和0.5个百分点。消融实验结果进一步验证了所提模型的有效性。

来源：2025年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第2期