计算机应用

北大核心,INSPEC,JST,Pж(AJ),CSCD扩展版

国内刊号:51-1307/TP

国际刊号:1001-9081

计算机应用杂志2026年第2期:基于Mamba模型的分级跨模态融合三维目标检测方法

发布日期:

作者:李明光, 陶重犇

单位:1.苏州科技大学 电子与信息工程学院,江苏 苏州 215009;2.清华大学 苏州汽车研究院,江苏 苏州 215200

关键词:三维目标检测,跨模态融合,Mamba,鸟瞰视图,自动驾驶

基金:国家自然科学基金资助项目(62472300)

针对现有基于鸟瞰视图(BEV)的跨模态融合方法在初期融合阶段忽视了对BEV特征局部信息的有效保护,导致浅层跨模态交互不足,进而制约后续深层融合效果并降低三维目标检测精度的问题,提出基于Mamba模型的分级跨模态融合三维目标检测方法。该方法将Mamba的状态空间建模机制与分级融合机制深度结合,使跨模态特征映射至隐藏状态空间进行交互,以丰富局部信息,降低跨模态特征之间的差异性,并增强融合特征表达的一致性。首先,在浅层融合阶段,设计特征通道交换机制以通过交换不同传感器模态的特征通道提升浅层局部细节的保留能力,并改进Mamba模型的视觉状态空间(VSS)块以强化浅层特征间的交互;然后,在深层融合阶段,引入注意力机制与门控机制构建隐藏的特征转换,从而识别并融合模态间互补的长距离依赖特征;最后,通过通道自适应模块计算归一化原始特征上的通道关注,并自适应地学习模态内的通道关系,增强单个模态的BEV特征表示,从而弥补Mamba模型在建模通道间关系方面的不足。实验结果表明,所提方法在nuScenes和Waymo数据集上取得了优于TransFusion和结合局部-全局建模的多模态融合方法LoGoNet (Local-to-Global Network)等方法的检测性能,在nuScenes测试集上的平均精度均值(mAP)达到72.4%,nuScenes检测得分(NDS)为73.9%,相较于基线方法BEVFusion_mit分别提高了2.2和1.0个百分点。

来源:2026年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2026年第2期

联系我们

  • 地址:四川天府新区兴隆街道科智路1369号
  • 电话:028-85224283-803
  • E-mail:bjb@joca.cn

咨询工作人员