计算机应用

作者：谭钰, 王小琴, 蓝如师, 刘振丙, 罗笑南

单位：1.广西图像图形与智能处理重点实验室(桂林电子科技大学), 广西 桂林 541004；2.卫星导航定位与位置服务国家地方联合工程研究中心(桂林电子科技大学), 广西 桂林 541004

关键词：跨模态检索,矩阵分解,哈希学习,平衡向量,多标签数据

基金：国家自然科学基金资助项目(62172120);广西科技计划项目(2019GXNSFFA245014);广西图像图形与智能处理重点实验室开发课题(GIIP2001)

现有的跨模态哈希算法低估了不同类别标签之间语义差异的重要性，忽略了哈希向量的平衡条件，导致所学习到的哈希码的判别性能差。此外，一些方法利用标签信息构造相似性矩阵，并将多标签数据视为单标签数据进行建模，这在多标签跨模态检索中造成了较大的语义损失。为了保留异构数据之间精确的相似程度和哈希向量的平衡特性，提出了一种新的有监督哈希算法——基于判别性矩阵分解的多标签跨模态哈希检索（DMFH）。该方法利用核化特征的协同矩阵分解（CMF）获得了一个共享的隐式子空间；同时利用数据之间共有标签的比例来描述异构数据的相似程度；此外，利用标签的平衡信息构造平衡矩阵，生成具有平衡特性的哈希向量，并最大化不同类别标签之间的类间距。在两个常用多标签数据集MIRFlickr和NUS-WIDE上与7种先进的跨模态哈希方法进行对比，在“以图搜文”（I2T）和“以文搜图”（T2I）任务上，DMFH均取得了最高的平均精度均值（mAP），而且T2I任务的mAP更优，说明DMFH能够更有效地利用文本模态中的多标签语义信息。还分析了所构造的平衡矩阵与相似性矩阵的有效性，验证了DMFH算法能有效保持语义信息和相似性关系，在多标签跨模式检索中是有效的。

来源：2023年第5期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第5期