计算机应用

作者：樊永红, 黄鹤鸣

单位：1.青海师范大学 计算机学院，西宁 810008；2.省部共建藏文智能信息处理及应用国家重点实验室（青海师范大学），西宁 810008；3.藏文信息处理教育部重点实验室（青海师范大学），西宁 810008

关键词：语音情感识别,渐进式情感表征学习,卷积神经网络,动态融合,多尺度融合

基金：国家自然科学基金资助项目(62066039);青海省自然科学基金资助项目(2022-ZJ-925);“111”项目(D20035)

语音情感识别（SER）旨在赋予计算机准确识别语音信号中的情感状态的能力，而如何高效地表征语音中的情感特征一直是SER的研究热点。目前，大多数研究都致力于利用深度学习方法直接从原始语音或语谱图中学习最优特征，这种学习模式可以提取到更完整的特征信息，但忽略了对特定特征更深层细化信息的学习，同时不能保证特征的可解释性。为了解决上述问题，提出一种基于卷积神经网络的渐进式表征学习SER方法（CnnPRL），在语音声学特征的基础上利用卷积神经网络（CNN）渐进式地提取具有可解释性的精细化情感特征。首先，手工提取可解释的浅层特征并选择出最优的特征集；其次，提出级联CNN和动态融合结构，以细化浅层特征，并学习深层情感表征；最后，构建并行异构CNN提取不同尺度的互补特征，以利用融合模块实现多特征融合，捕获多粒度特征，并整合来自不同特征尺度的深层情感信息。实验结果表明，在保证时间复杂度的前提下，在数据集IEMOCAP （Interactive EMOtional dyadic motion CAPture database）、CASIA（Institute of Automation， Chinese Academy of Sciences）和EMODB（Berlin EMOtional DataBase）上，相较于SpeechFormer++、TLFMRF（Two-Layer Fuzzy Multiple Random Forest）和TIM-Net（Temporal-aware bI-direction Multi-scale Network）等对比方法，CnnPRL在指标加权平均召回率（WAR）上分别至少取得了0.86、2.92和1.46个百分点的提升，验证了CnnPRL的有效性；消融实验结果验证了CnnPRL的每个模块都有利于提升模型的整体性能。

来源：2025年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第12期