计算机应用

作者：杨磊, 赵红东, 于快快

单位：1.河北工业大学 电子信息工程学院，天津 300401；2.光电信息控制和安全技术重点实验室，天津 300308

关键词：语音情感识别,多头注意力,卷积神经网络,支持向量机,端到端

基金：光电信息控制和安全技术重点实验室基金资助项目(614210701041705)

针对语音情感数据集规模小且数据维度高的特点，为解决传统循环神经网络（RNN）长程依赖消失和卷积神经网络（CNN）关注局部信息导致输入序列内部各帧之间潜在关系没有被充分挖掘的问题，提出一个基于多头注意力（MHA）和支持向量机（SVM）的神经网络MHA-SVM用于语音情感识别（SER）。首先将原始音频数据输入MHA网络来训练MHA的参数并得到MHA的分类结果；然后将原始音频数据再次输入到预训练好的MHA中用于提取特征；最后通过全连接层后使用SVM对得到的特征进行分类获得MHA-SVM的分类结果。充分评估MHA模块中头数和层数对实验结果的影响后，发现MHA-SVM在IEMOCAP数据集上的识别准确率最高达到69.6%。实验结果表明同基于RNN和CNN的模型相比，基于MHA机制的端到端模型更适合处理SER任务。

来源：2022年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第6期