非线性系统的最优控制动态规划方法需要求解非线性Hamilton-Jacobi-Bellman（HJB）方程，离散时间的HJB方程由于需要求解非线性差分方程而难度更大。长期以来，动态规划方法虽然理论上可以求解非线性系统的最优控制，但是由于时间反向计算而产生的“维数灾”问题，实际问题中无法完成其超大的计算量。这里，提出一种求解动态规划方法求解HJB方程的自学习控制算法，称为自适应动态规划算法。该算法可以用来解决未知离散时间非线性系统的最优控制问题，同时给出了算法的收敛性证明。此外，算法的实现用到三个神经网络，在递推的每一步分别用来近似性能指标函数、最优控制律和未知非线性系统。仿真结果证明了自学习控制算法的有效性。
刘德荣，中国科学院自动化研究所研究员、复杂系统管理与控制国家重点实验室副主任。1982、1985年分别取得华东工学院机械工程学士学位和中国科学院自动化研究所自动控制理论及应用硕士学位，1994年取得美国圣母大学电机工程博士学位。主要从事智能控制理论及应用、计算智能、过程控制、电力系统运行与控制、复杂系统理论与方法等方向的研究。自1992年起，发表SCI论文130余篇，国际会议论文200余篇，出版专著（含合著）15种。曾任芝加哥伊利诺依大学电机与计算机工程系教授，获美国国家科学基金会教授早期事业发展奖、伊利诺依大学大学学者奖。现任国际自动控制联合会（IFAC）理事，美国电气与电子工程师学会（IEEE）电路与系统分会神经网络技术委员会主席、计算智能学会近似动态规划和增強式学习技术委员会主席、IEEE Transactions on Neural Networks and Learning Systems主编。2005年当选IEEE会士（IEEE fellow），2012年当选IEEE计算智能学会杰出讲师，2013年当选国际神经网络学会会士（INNS fellow）。
