计算机应用

作者：毕以镇, 马焕, 张长青

单位：天津大学 智能与计算学部，天津 300350

关键词：多模态分类,多模态融合,置信度估计,增广模态,表示学习

针对获取新模态难度大、收益差异大的问题，提出了一种增广模态收益动态评估方法。首先，通过多模态融合网络得到中间特征表示和模态融合前后的预测结果；其次，将两个预测结果的真实类别概率（TCP）引入置信度估计，得到融合前后的置信度；最后，计算两种置信度的差异，并将该差异作为样本以获取新模态所带来的收益。在常用多模态数据集和真实的医学数据集如癌症基因组图谱（TCGA）上进行实验。在TCGA数据集上的实验结果表明，与随机收益评估方法和基于最大类别概率（MCP）的方法相比，所提方法的准确率分别提高了1.73~4.93和0.43~4.76个百分点，有效样本率（ESR）分别提升了2.72~11.26和1.08~25.97个百分点。可见，所提方法能够有效评估不同样本获取新模态所带来的收益，并具备一定可解释性。

来源：2023年第10期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第10期