计算机应用

作者：邓绍斌, 朱军, 周晓锋, 李帅, 刘舒锐

单位：1.中国科学院 网络化控制系统重点实验室, 沈阳 110016；2.中国科学院 沈阳自动化研究所, 沈阳 110169；3.中国科学院 机器人与智能制造创新研究院, 沈阳 110169；4.中国科学院大学, 北京 100049

关键词：工业过程控制,深度强化学习,深度确定性策略梯度,局部策略交互探索,青霉素发酵过程

基金：辽宁省“兴辽英才计划”项目(XLYC1808009)

为了实现对非线性、滞后性和强耦合的工业过程稳定精确的控制，提出了一种基于局部策略交互探索的深度确定性策略梯度（LPIE-DDPG）的控制方法用于深度强化学习的连续控制。首先，使用深度确定性策略梯度（DDPG）算法作为控制策略，从而极大地减小控制过程中的超调和振荡现象；同时，使用原控制器的控制策略作为局部策略进行搜索，并以交互探索规则进行学习，提高了学习效率和学习稳定性；最后，在Gym框架下搭建青霉素发酵过程仿真平台并进行实验。仿真结果表明，相较于DDPG，LPIE-DDPG在收敛效率上提升了27.3%；相较于比例-积分-微分（PID），LPIE-DDPG在温度控制效果上有更少的超调和振荡现象，在产量上青霉素浓度提高了3.8%。可见所提方法能有效提升训练效率，同时提高工业过程控制的稳定性。

来源：2022年第5期

《计算机应用》期刊编辑部

查看计算机应用杂志2022年第5期