计算机应用

作者：姬晓飞, 秦琳琳, 王扬扬

单位：沈阳航空航天大学 自动化学院, 沈阳 110168

关键词：RGB视频,关节点数据,卷积神经网路,softmax,融合,双人交互行为识别

基金：国家自然科学基金资助项目（61602321）；辽宁省教育厅科学研究服务地方项目（L201708）；辽宁省教育厅科学研究青年项目（L201745）。

基于RGB视频序列的双人交互行为识别已经取得了重大进展，但因缺乏深度信息，对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度，得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性，提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先，利用Vibe算法获得RGB视频在时间域的感兴趣区域，之后提取关键帧映射到RGB空间，以得到表示视频信息的时空图，并把图送入CNN提取特征；然后，在每帧关节点序列中构建矢量，以提取余弦距离（CD）和归一化幅值（NM）特征，将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接，馈送入CNN学习更高级的时序特征；最后，将两种信息源的softmax识别概率矩阵进行融合，得到最终的识别结果。实验结果表明，将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果，在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率，证明了提出的模型对双人交互行为识别的有效性。

来源：2019年第11期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第11期