计算机应用

作者：李林昊, 王逸泽, 李英双, 董永峰, 王振

单位：1.河北工业大学 人工智能与数据科学学院，天津 300401；2.河北省大数据计算重点实验室（河北工业大学），天津 300401；3.河北省数据驱动工业智能工程研究中心（河北工业大学），天津 300401

关键词：全景场景图生成,对象对联合特征,关系特征强化,语义关联关系,自适应选择

基金：河北省高等学校自然科学研究项目(QN2023262)

全景场景图生成（PSGG）旨在识别图像中所有对象并自动地捕获所有对象间的语义关联关系。语义关联关系建模依赖目标对象及对象对（subject-object pair）的特征描述，然而现行工作中存在以下不足：采用边界框提取方式获取的对象特征较模糊；仅关注对象的语义和空间位置特征，忽略了对关系预测同样重要的对象对的语义联合特征和相对位置特征；未能针对不同类型的对象对（如前景-前景、前景-背景、背景-背景）进行差异化特征提取，进而忽略了它们之间的差异性。针对上述问题，提出一种基于关系特征强化的全景场景图生成方法（RFE）。首先，通过引入像素级掩码区域特征，丰富对象特征的细节信息，同时有效地融合对象对的联合视觉特征、语义联合特征和相对位置特征；其次，根据对象对的不同类型，自适应地选择最适合本类型对象对的特征提取方式；最后，获得强化后更精确的关系特征用于关系预测。在PSG数据集上的实验结果表明，以VCTree（Visual Contexts Tree）、Motifs、IMP（Iterative Message Passing）和GPSNet为基线方法，ResNet-101为骨干网络，RFE在具有挑战性的SGGen任务上召回率（R@20）指标分别提高了4.37、3.68、2.08和1.80个百分点，验证了所提方法在PSGG的有效性。

来源：2025年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第2期