计算机应用

作者：李晨阳, 张龙, 郑秋生, 钱少华

单位：1.中原工学院 前沿信息技术研究院，郑州 450007；2.河南省网络舆情监测与智能分析重点实验室，郑州 450007；3.重庆长安汽车软件科技有限公司，重庆 433000

关键词：扩散模型,序列扩散,预训练模型,提示,文本生成,可控生成,细粒度情感

基金：河南省高等学校重点科研项目(22B520054);嵩山实验室预研项目(YYJC032022021);中原工学院自然科学基金资助项目(K2023MS021)

随着大规模预训练语言模型的出现，文本生成技术已取得突破性进展。然而，在开放性文本生成领域，生成的内容缺乏拟人化的情感特征，使生成的文本难以让人产生共鸣和情感上的联系，可控文本生成在弥补当前文本生成技术不足方面具有重要意义。首先，在ChnSentiCorp数据集的基础上完成主题和情感属性的扩展，同时，为构建一个可生成流畅文本且情感丰富的多元可控文本生成模型，提出一种基于扩散序列的可控文本生成模型DiffuSeq-PT。该模型以扩散模型为基础架构，利用主题情感属性和文本数据在无分类器引导条件下对序列执行扩散过程，使用预训练模型ERNIE 3.0（Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation）的编码解码能力贴合扩散模型的加噪去噪过程，最终生成符合相关主题和多情感粒度的目标文本。与基准模型DiffuSeq相比，所提模型在2个公开的真实数据集（ChnSentiCorp和辩论数据集）上分别取得0.13和0.01的BERTScore值的提升，困惑度分别下降了14.318和9.46。

来源：2024年第8期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第8期