计算机应用

作者：李云, 王富铕, 井佩光, 王粟, 肖澳

单位：1.广西财经学院 大数据与人工智能学院, 南宁 530003；2.中国铁路设计集团有限公司 电化电信院, 天津 300308；3.天津大学 电气与信息工程学院, 天津 300072；4.广西民族大学 电子信息学院, 南宁 530006；5.广西大学 计算机与电子信息学院, 南宁 530004

关键词：时序关联性,帧关联短视频事件,卷积神经网络,贝叶斯神经网络,不确定度

基金：国家自然科学基金资助项目(61861014);博士启动基金资助项目(BS2021025)

针对如何联合短视频的帧不确定度和时序关联性，以增强事件检测能力的问题，提出一种基于不确定度感知的帧关联短视频事件检测方法。首先，利用2D卷积神经网络（CNN）提取短视频每一帧的特征，再将该特征多次前向传播并通过贝叶斯变分层获得特征均值和与特征对应的不确定度信息；其次，利用模型构建的不确定度感知模块将特征均值和不确定度信息进行融合，再将融合后所得的各帧特征通过时序关联模块加强时域上的联系；最后，用时域关联后的特征通过分类网络实现短视频事件检测。在从Flickr平台上爬取到的短视频事件检测数据集上开展实验对比，实验结果表明，支持向量机（SVM）等子空间学习方法的分类性能较差，对高级语义表示的探索不充分；而深度学习方法对于事件检测的准确率明显更优。相较于SViTT（Sparse Video-Text Transformer）方法，所提方法的准确率、平均召回率和平均精度分别提高了3.37%、2.55%和2.09%，验证了所提方法在短视频事件检测任务上的有效性。

来源：2024年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第9期