计算机应用

作者：柳兴华, 曹桂涛, 林秋斌, 曹文明

单位：1.深圳大学 电子与信息工程学院, 广东 深圳 518060；2.广东省多媒体信息服务工程技术研究中心(深圳大学), 广东 深圳 518060；3.华东师范大学 软件工程学院, 上海 200062

关键词：跨模态检索,哈希方法,深度神经网络,自适应,混合注意力

基金：国家自然科学基金资助项目(61771322)

针对现有哈希方法在特征学习过程中无法区分各区域特征信息的重要程度和不能充分利用标签信息来深度挖掘模态间相关性的问题，提出了自适应混合注意力深度跨模态哈希检索（AHAH）模型。首先，通过自主学习得到的权重将通道注意力和空间注意力有机结合来强化对特征图中相关目标区域的关注度，同时弱化对不相关目标区域的关注度；其次，通过对模态标签进行统计分析，并使用所提出的相似度计算方法将相似度量化为0~1的数字以更精细地表示模态间的相似性。在4个常用的数据集MIRFLICKR-25K、NUS-WIDE、MSCOCO和IAPR TC-12上，当哈希码长度为16 bit时，与最先进的方法多标签语义保留哈希（MLSPH）相比，所提方法的检索平均准确率均值（mAP）分别提高了2.25%、1.75%、6.8%和2.15%。此外，消融实验和效率分析也证明了所提方法的有效性。

来源：2022年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第12期