计算机应用

作者：周浩, 王超, 崔国恒, 罗廷金

单位：1.海军工程大学 作战运筹与规划系，武汉 430033；2.国防科技大学 理学院，长沙 410073

关键词：多语义特征融合,视觉问答,场景图,属性注意力,关系注意力

基金：国家自然科学基金资助项目(62302516);湖北省自然科学基金资助项目(2022CFC049);湖南省湖湘青年人才项目(2021RC3070)

弥合视觉图像和文本问题之间的语义差异是提高视觉问答（VQA）模型推理准确性的重要方法之一。然而现有的相关模型大多数基于低层图像特征的提取并利用注意力机制推理问题的答案，忽略了高层图像语义特征如关系和属性特征等在视觉推理中的作用。为解决上述问题，提出一种基于多语义关联与融合的VQA模型以建立问题与图像之间的语义联系。首先，基于场景图生成框架提取图像中的多种语义并把它们进行特征精炼后作为VQA模型的特征输入，从而充分挖掘图像场景中的信息；其次，为提高图像特征的语义价值，设计一个信息过滤器过滤图像特征中的噪声和冗余信息；最后，设计多层注意力融合和推理模块将多种图像语义分别与问题特征进行语义融合，以强化视觉图像重点区域与文本问题之间的语义关联。与BAN（Bilinear Attention Network）和CFR（Coarse-to-Fine Reasoning）模型的对比实验结果表明，所提模型在VQA2.0测试集上的准确率分别提高了2.9和0.4个百分点，在GQA测试集上的准确率分别提高了17.2和0.3个百分点。这表明所提模型能够更好地理解图像场景中的语义并回答组合式视觉问题。

来源：2025年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第3期