计算机应用

作者：王娜, 蒋林, 李远成, 朱筠

单位：1.西安科技大学 计算机科学与技术学院，西安 710600；2.西安邮电大学 电子工程学院，西安 710121

关键词：算符融合,图形重写,张量虚拟机,神经网络,融合探索

基金：科技创新2030——“新一代人工智能”重大项目(2022ZD0119005);国家自然科学基金资助项目(61834005);陕西省自然科学基金资助项目(2020JM-525)

针对计算密集型神经网络在使用张量虚拟机（TVM）算符融合过程中对计算图进行逐层查找导致访问次数过多、内存资源利用率低等问题，提出一种基于图形重写和融合探索的TVM算符融合优化方法。首先，对运算符的映射类型进行分析；其次，基于运算定律对计算图进行重写，简化计算图结构以减少中间结果生成，降低内存资源消耗并提升融合效率；再次，采用融合探索算法寻找融合代价较小的算符优先进行融合，避免数据冗余和寄存器溢出；最后，在CPU上实现神经网络算符融合，并测试融合加速性能。实验结果表明，所提方法可有效减少计算图层数和算符个数，降低访存频率和数据传输量。与TVM算符融合方法相比，所提方法在融合过程中的计算图层数平均减少18%，推理速度平均提升23%，验证了该方法在优化计算图融合过程中的有效性。

来源：2024年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第9期