计算机应用

作者：李扬志, 袁家政, 刘宏哲

单位：1. 北京市信息服务工程重点实验室(北京联合大学), 北京 100101;2. 北京开放大学 科研外事处, 北京 100081

关键词：图卷积网络,人体骨架行为识别,注意力机制,人体关节点,视频行为理解

基金：国家自然科学资助基金项目（61871028，61871039，61906017，61802019）；北京联合大学领军人才项目（BPHR2019AZ01）；北京市教委项目（KM202111417001，KM201911417001）；北京联合大学研究生科研创新项目（YZ2020K001）。

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题，提出一种基于时空注意力图卷积网络（STA-GCN）模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制：空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域，另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域；时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络（GCN）框架中，实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明，基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性，与基于时空图卷积网络（ST-GCN）模型的识别算法相比，在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点，在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点；也优于当前行为识别领域最先进（SOA）方法，如Res-TCN、STA-LSTM和动作-结构图卷积网络（AS-GCN）。结果表示，所提算法可以更好地满足人体行为识别的实际应用需求。

来源：2021年第7期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第7期