计算机应用

作者：张传浩, 屠晓涵, 谷学汇, 轩波

单位：1.郑州警察学院 图像与网络侦查系，郑州 450000；2.郑州图铭智能科技有限公司，郑州 450000

关键词：多模态,三维目标检测,自适应信息融合,数据层面融合,特征层面融合,雷达-相机

基金：国家重点研发计划项目;河南省自然科学基金资助项目(242300420693);河南省科技攻关项目(212102210531);中央高校基本科研业务费项目(2022TJJBKY002)

多模态三维目标检测是计算机视觉的一项重要任务，如何更好地融合不同模态之间的信息一直是该任务的研究重点。现有方法在融合不同模态信息时缺少对信息的筛选，且过多无关与干扰信息会造成模型性能的下降。针对上述问题，提出一种基于多模态信息相互引导补充的雷达-相机三维目标检测模型，以在融合特征时从另一种模态中自适应地挑选信息进行融合。自适应信息融合包括数据层面的相互引导补充和特征层面的相互引导补充。在数据层面的融合中，使用由点云产生的深度图和图像产生的分割掩码作为输入，以分别构建出实例级的深度图与实例级的三维虚拟点用于图像与点云的补充。在特征层面的融合中，使用点云产生的体素特征和图像产生的特征图作为输入，并从另一种模态中为待融合特征选取关键区域并通过注意力机制进行特征融合。实验结果表明，所提模型在nuScenes测试集上取得了良好的效果。相较于BEVFusion和TransFusion等传统非引导的融合模型，所提模型将平均精度均值（mAP）和nuScenes检测分数（NDS）这2个主流评测指标分别提升了0.9~28.9个百分点和0.6~26.1个百分点。以上验证了所提模型可有效提高多模态三维目标检测的准确性。

来源：2025年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第3期