计算机应用

作者：黄颖, 杨佳宇, 金家昊, 万邦睿

单位：重庆邮电大学 软件工程学院，重庆 400065

关键词：RGBT跟踪,孪生神经网络,多模态融合策略,信息交互,无锚跟踪头

可见光与热红外跟踪（又称RGBT（RGB-Thermal）跟踪）的核心是有效地利用不同模态的信息，针对决策级融合中单分支产生低质结果影响算法判定目标的问题，提出一个用于RGBT跟踪的孪生混合信息融合算法SiamMIF。首先，使用孪生主干网络（SBN）进行多模态特征提取；其次，从信噪比的角度分析低质图像对双分支并行决策产生的影响，进而设计了一个信噪比驱动的信息交互模块（IIM）对低信噪比特征进行信息互补；再次，利用双流无锚跟踪头（ADH）对补偿后的特征进行分类回归；最后，采用自适应轻量决策模块（ALDM）对跟踪结果进行融合，并快速判定目标位置。在4个RGBT基准数据集GTOT、RGBT234、VOT-RGBT2019和LasHeR上的实验结果表明，所提算法在LasHeR数据集上的成功率和精确度分别为0.396和0.518，相较于APFNet（Attribute-based Progressive Fusion Network）提升9.4%和3.6%，在其他3个数据集上也能取得较好结果，且在GPU上的帧率能达到40 frame/s。

来源：2024年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第9期