计算机应用

作者：申云飞, 申飞, 李芳, 张俊

单位：1.安徽大学 物质科学与信息技术研究院, 合肥 230031；2.中国科学院合肥物质科学研究院 强磁场科学中心, 合肥 230031；3.强磁场安徽省实验室, 合肥 230031

关键词：张量虚拟机,深度神经网络,现场可编程门阵列,边缘设备,模型部署,模型加速

基金：安徽省重点研究与开发计划项目(202004h07020031);中国科学院合肥大科学中心重点研发项目(2019HSC-KPRD003)

随着人工智能（AI）技术的蓬勃发展，深度神经网络（DNN）模型被大规模应用到各类移动端与边缘端。然而，边缘端算力低、内存容量小，且实现模型加速需要深入掌握边缘端硬件知识，这增加了模型的部署难度，也限制了模型的推广应用。因此，基于张量虚拟机（TVM）提出一种DNN加速与部署方法，从而实现卷积神经网络（CNN）模型在现场可编程门阵列（FPGA）上的加速，并在分心驾驶分类应用场景下验证了所提方法的可行性。通过计算图优化方法减小了模型的访存和计算开销，通过模型量化方法减小了模型尺寸，通过计算图打包方法将卷积计算卸载到FPGA上执行以提高模型推理速度。与微处理器（MPU）相比，所提方法可使ResNet50和ResNet18在MPU+FPGA上的推理时间分别减少88.63%和77.53%；而在AUC（American University in Cairo）数据集上，相较于MPU，两个模型在MPU+FPGA上的top1推理精度仅下降了0.26和0.16个百分点。可见，所提方法可以降低不同模型在FPGA上的部署难度。

来源：2023年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第9期