计算机应用

作者：林于翔, 吴运兵, 阴爱英, 廖祥文

单位：1.福州大学 计算机与大数据学院, 福州 350108；2.数字福建金融大数据研究所, 福州 350108；3.福州大学至诚学院 计算机工程系, 福州 350002

关键词：多模态,生成式摘要,序列到序列,事实性错误,语义相关性

基金：国家自然科学基金资助项目(61976054);福建省自然科学基金资助项目(2022J01116)

多模态生成式摘要往往采用序列到序列（Seq2Seq）框架，目标函数在字符级别优化模型，根据局部最优解生成单词，忽略了摘要样本全局语义信息，使得摘要与多模态信息产生语义偏差，容易造成事实性错误。针对上述问题，提出一种基于语义相关性分析的多模态摘要模型。首先，在Seq2Seq框架基础上对多模态摘要进行训练，生成语义多样性的候选摘要；其次，构建基于语义相关性分析的摘要评估器，从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE （Recall-Oriented Understudy for Gisting Evaluation）的排序模式，从而在摘要样本层面优化模型；最后，不依赖参考摘要，利用摘要评估器对候选摘要进行评价，使得选出的摘要与源文本在语义空间中尽可能相似。实验结果表明，在公开数据集MMSS上，相较于MPMSE （Multimodal Pointer-generator via Multimodal Selective Encoding）模型，所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点。

来源：2024年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第1期