计算机应用

作者：王丽芳, 吴荆双, 尹鹏亮, 胡立华

单位：1.太原科技大学 计算机科学与技术学院，太原 030024；2.上海方宜万强微电子有限公司，西安 710000

关键词：零样本动作识别,能量函数,注意力机制,光流法,视觉特征

基金：国家自然科学基金资助项目(62273248);山西省自然科学基金资助项目(202203021211206);山西省研究生教育改革项目(2021YJJG238);山西省研究生科研创新项目(2023KY657);太原科技大学博士启动基金资助项目(20212021)

针对零样本动作识别（ZSAR）算法的框架缺乏结构性指导的问题，以基于能量的模型（EBM）指导框架设计，提出基于注意力机制和能量函数的动作识别算法（ARAAE）。首先，为了得到EBM的输入，设计了光流加3D卷积（C3D）架构的组合以提取视觉特征，从而达到空间去冗余的效果；其次，将视觉Transformer （ViT）用于视觉特征的提取以减少时间冗余，同时利用ViT配合光流加C3D架构的组合以减少空间冗余，从而获得非冗余视觉空间；最后，为度量视觉空间和语义空间的相关性，实现能量评分评估机制，设计联合损失函数来进行优化实验。采用6个经典ZSAR算法及近年文献里的算法在两个数据集HMDB51和UCF101进行实验的结果表明：相较于CAGE （Coupling Adversarial Graph Embedding）、Bi-dir GAN （Bi-directional Generative Adversarial Network）和ETSAN （Energy-based Temporal Summarized Attentive Network）等算法，在平均分组的HMDB51数据集上，ARAAE平均识别准确率提升至（22.1±1.8）%，均明显优于对比算法；在平均分组的UCF101数据集上，ARAAE的平均识别准确率提升至（22.4±1.6）%，略优于对比算法；在以81/20为分割方式的UCF101数据集上，ARAAE的平均识别准确率提升至（40.2±2.6）%，均大于对比算法。可见，ARAAE在ZSAR中能有效提高识别性能。

来源：2025年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第1期