计算机应用

作者：张成, 万源, 强浩鹏

单位：武汉理工大学 理学院, 武汉 430070

关键词：跨模态哈希,知识蒸馏,相似度矩阵重构,离散循环坐标下降法,非对称

基金：中央高校基本科研业务费专项资金资助项目（2019IB010）。

跨模态哈希因其低存储花费和高检索效率得到了广泛的关注。现有的大部分跨模态哈希方法需要额外的手工标签来提供实例间的关联信息，然而，预训练好的深度无监督跨模态哈希方法学习到的深度特征同样能提供相似信息；且哈希码学习过程中放松了离散约束，造成较大的量化损失。针对以上两个问题，提出基于知识蒸馏的深度无监督离散跨模态哈希（DUDCH）方法。首先，结合知识蒸馏中知识迁移的思想，利用预训练无监督老师模型潜藏的关联信息以重构对称相似度矩阵，从而代替手工标签帮助有监督学生模型训练；其次，采用离散循环坐标下降法（DCC）迭代更新离散哈希码，以此减少神经网络学习到的实值哈希码与离散哈希码间的量化损失；最后，采用端到端神经网络作为老师模型，构建非对称神经网络作为学生模型，从而降低组合模型的时间复杂度。在两个常用的基准数据集MIRFLICKR-25K和NUS-WIDE上的实验结果表明，该方法相较于深度联合语义重构哈希（DJSRH）方法在图像检索文本/文本检索图像两个任务上的平均精度均值（mAP）分别平均提升了2.83个百分点/0.70个百分点和6.53个百分点/3.95个百分点，充分体现了其在大规模跨模态数据检索中的有效性。

来源：2021年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第9期