计算机应用

作者：尚绍法, 蒋林, 李远成, 朱筠

单位：1.西安科技大学 计算机科学与技术学院，西安 710600；2.西安邮电大学 电子工程学院，西安 710121

关键词：张量虚拟机,卷积神经网络,模型划分,任务调度,特征分析

基金：国家自然科学基金资助项目(61834005);陕西省自然科学基金资助项目(2020JM-525);科技创新2030-“新一代人工智能”重大项目(2020AAA0104603);榆林市科技计划项目(CXY-2020-026)

针对卷积神经网络（CNN）在异构平台执行推理时存在硬件资源利用率低、延迟高等问题，提出一种CNN推理模型自适应划分和调度方法。首先，通过遍历计算图提取CNN的关键算子完成模型的自适应划分，增强调度策略灵活性；然后，基于性能实测与关键路径-贪婪搜索算法，在CPU-GPU异构平台上根据子模型运行特征选取最优运行负载，提高子模型推理速度；最后利用张量虚拟机（TVM）中跨设备调度机制，配置子模型的依赖关系与运行负载，实现模型推理的自适应调度，降低设备间通信延迟。实验结果表明，与TVM算子优化方法在GPU和CPU上的推理速度相比，所提方法在模型推理准确度无损前提下，推理速度提升了5.88%~19.05%和45.45%~311.46%。

来源：2023年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第9期