计算机应用

作者：郭可心, 张宇翔

单位：中国民航大学 计算机科学与技术学院, 天津 300300

关键词：空间注意力,多特征融合,情感分析,多模态,社交媒体,神经网络

基金：国家自然科学基金资助项目（U1533104）。

随着社交网络的不断普及，相对于传统的文字描述，人们更倾向于发布图文结合的评论来表达自己的情感与意见。针对图文情感分析方法中仅考虑图文间的高级语义联系，而较少注意图片的低层次情感特征以及中层美学特征与文本情感之间关联性的问题，提出了一种基于多层次空间注意力（MLSA）的图文评论情感分析方法。所提方法以文本内容为驱动，使用MLSA设计图像与文本之间的特征融合方法，该特征融合方法不仅关注与文本相关的图像实体特征，而且充分利用图像的中层美学特征和低层视觉特征，从而从多个不同角度挖掘图文之间的情感共现。在两个公开的图文情感数据集MVSA_Single和MVSA_Multi上，该方法的分类效果相对于对比方法中最优的方法的分类效果在准确率上分别提高了0.96和1.06个百分点，在F1值上分别提高了0.96和0.62个百分点。实验结果表明，综合分析文本特征和图像特征之间的层次化联系能有效地增强神经网络捕捉图文情感语义的能力，从而更准确地预测图文整体的情感。

来源：2021年第10期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第10期