计算机应用

作者：王艺涵, 路翀, 陈忠源

单位：新疆财经大学 信息管理学院，乌鲁木齐 830046

关键词：多模态情感分析,文本信息增强,交叉注意力机制,双向长短期记忆网络,跨模态信息融合

基金：国家自然科学基金资助项目(62166039)

近年来，利用文本、视觉和音频数据分析视频中说话者情感的多模态情感分析（MSA）引起了广泛关注。然而，不同模态在情感分析中的贡献大不相同。通常，文本中包含的信息更加直观，因此寻求一种用于增强文本在情感分析中作用的策略显得尤为重要。针对这一问题，提出一种跨模态文本信息增强的多模态情感分析模型（MSAM-CTE）。首先，使用BERT（Bidirectional Encoder Representations from Transformers）预训练模型提取文本特征，并使用双向长短期记忆（Bi-LSTM）网络对预处理后的音频和视频特征进行进一步处理；其次，通过基于文本的交叉注意力机制，将文本信息融入情感相关的非语言表示中，以学习面向文本的成对跨模态映射，从而获得有效的统一多模态表示；最后，使用融合特征进行情感分析。实验结果表明，与最优的基线模型——文本增强Transformer融合网络（TETFN）相比，MSAM-CTE在数据集CMU-MOSI （Carnegie Mellon University Multimodal Opinion Sentiment Intensity）上的平均绝对误差（MAE）和皮尔逊相关系数（Corr）分别降低了2.6%和提高了0.1%；在数据集CMU-MOSEI （Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity）上的两个指标分别降低了3.8%和提高了1.7%，验证了MSAM-CTE在情感分析中的有效性。

来源：2025年第7期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第7期