计算机应用

作者：高鹏淇, 黄鹤鸣, 樊永红

单位：1.青海师范大学 计算机学院，西宁 810008；2.藏语智能信息处理及应用国家重点实验室，西宁 810008

关键词：语音情感识别,坐标注意力机制,多头注意力机制,特定特征学习,共享特征学习

基金：国家自然科学基金资助项目(620660039);青海省自然科学基金资助项目(2022?ZJ?925);高等学校学科创新引智计划项目(D20035)

语音情感识别（SER）是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题，提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组成。前者利用Res2Net和坐标注意力模块学习从原始语音中获取的特定特征，并生成多尺度特征表示，增强模型对情感相关信息的表征能力；后者融合前向网络所获取的特征，组成共享特征，并经双向长短时记忆（BiLSTM）网络输入至多头注意力模块，能同时关注不同特征子空间中的相关信息，增强特征之间的交互性，以捕获判别性强的特征。通过2个子网络间的协同作用，能增加模型特征的多样性，增强特征之间的交互能力。在训练过程中，应用双损失函数共同监督，使同类样本更紧凑、不同类样本更分离。实验结果表明，MIAN在EMO-DB和IEMOCAP语料库上分别取得了91.43%和76.33%的加权平均精度，相较于其他主流模型，具有更好的分类性能。

来源：2024年第8期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第8期