最优控制理论笔记总结（31）——离散系统的动态规划算法

  对于线性离散系统，当控制变量或状态变量有不等式约束时，利用动态规划方法来求解最优控制问题时，需要采用数值计算方法。

  对于非线性离散系统或二次型代价函数问题，通常无法得到最优控制的解析表达式，只能采用动态规划的基本递推方程进行数值计算，得到表格形式的最优控制与最优代价函数。

1、离散动态规划的基本方程：

被控对象：n 阶离数系统

初始状态：

性能指标：

式中，性能指标

的下标 N 表示从 u(0) 到 u(N-1) 进行 N 级控制。

目标任务：求最优控制序列

，使

达到极小值，即多级决策问题。

离散最优控制问题的最优性原理描述如下:

  根据被控对象和性能指标可得：

  可以看出，性能指标只依赖于初始状态 x(0) 和控制序列 u(0)~u(N-1)。即：

  根据最优性原理：

若    u*(0)~u*(N-1) 是离散系统最优控制问题在初始状态为 x(0) 的 N 级决策的最优控制序列

则    u*(j)~u*(N-j) 是离散系统最优控制问在初始状态为 x(j)=f[x(j-1) , u*(j-1)] 的后 N-j 级决策的最优控制序列

  特别强调：最优性原理能够成立的一个前提条件是过程的无后效性，即系统的过去只能决定现在而不能直接影响未来。

  下面推导离散最优控制问题动态规划的基本方程：

设    最优控制问题为上面所述

若    已求出 u*(0)

则    可用 u*(0) 和初始状态 x(0) 求出 x(1)

∴     由最优性原理可得：

上式称为离散动态规划的基本方程。

  上式建立了

和

的关系。同理可得：

它们建立了

的关系。

  所以，一般形式的离散动态规划的基本方程为:

式中，j = 0，1，.... ，N-1

所以：

如果令  

则可得：

  因为本质还是求系统最优解，所以同样可应用前面在极小值原理中介绍的控制方程对上面各性能指标求解，从而得到最优控制序列。

  以上推导就是离散动态规划的基本方程，该方法可应用于各类复杂状态方程，也可以应对各种不同的性能指标。

本阶段全套笔记：

【最优控制理论与仿真】

公众号内还有：

【经典控制理论】全套笔记

【现代控制理论】全套笔记

【非线性控制理论】全套笔记

【车辆动力学】全套笔记

下阶段全套笔记：

【模型预测控制理论与仿真】

期待您的关注、留言、讨论！