计算机应用

作者：刘长红, 曾胜, 张斌, 陈勇

单位：1.江西师范大学 计算机信息工程学院，南昌 330022；2.南昌工程学院 工商管理学院，南昌 330029

关键词：跨模态检索,张量融合网络,图卷积网络,语义相关性,语义关系图

基金：国家自然科学基金资助项目(62067004)

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性，而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题，提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先，采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系；然后，将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联；同时，采用门控循环单元（GRU）学习图像的全局特征，并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明，所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%，召回率均值（mR）分别提升了0.4、1.3和0.1个百分点，可见该方法能有效提升图像文本检索的精度。

来源：2022年第10期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第10期