2019年1月12日星期六,现代控制理论,1,2019年1月12日星期六,2,最优控制理论,东北大学信息科学与工程学院 井元伟教授,二九年十一月,2019年1月12日星期六,3,第2章 求解最优控制的变分方法,第3章 最大值原理,第4章 动态规划,第5章 线性二次型性能指标的最优控制,第6章 快速控制系统,第1章 最优控制问题,最优控制理论 现代控制理论的重要组成部分 20世纪50年代 发展形成系统的理论 研究的对象 控制系统 中心问题 给定一个控制系统，选择控制规律，使系统在某 种意义上是最优的 统一的、严格的数学方法 最优控制问题 研究者的课题，工程师们设计控制系统时的目标 最优控制能在各个领域中得到应用，效益显著,1.1 两个例子 1.2 问题描述,第1章 最优控制问题,1.1 两个例子,例1.1 飞船软着陆问题,2019年1月12日星期六,现代控制理论,7,1.1 两个例子,例1.1 飞船软着陆问题,m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量,软着陆过程开始时刻 t 为零,K 为常数,2019年1月12日星期六,现代控制理论,8,1.1 两个例子,例1.1 飞船软着陆问题,m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量,软着陆过程开始时刻 t 为零,K 为常数,2019年1月12日星期六,现代控制理论,9,1.1 两个例子,例1.1 飞船软着陆问题,m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量,软着陆过程开始时刻 t 为零,K 为常数,初始状态,2019年1月12日星期六,现代控制理论,10,1.1 两个例子,例1.1 飞船软着陆问题,m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量,软着陆过程开始时刻 t 为零,K 为常数,初始状态,终点条件,2019年1月12日星期六,现代控制理论,11,1.1 两个例子,例1.1 飞船软着陆问题,m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量,软着陆过程开始时刻 t 为零,K 为常数,初始状态,终点条件,控制目标,2019年1月12日星期六,现代控制理论,12,1.1 两个例子,例1.1 飞船软着陆问题,m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量,软着陆过程开始时刻 t 为零,K 为常数,初始状态,终点条件,控制目标,推力方案,2019年1月12日星期六,现代控制理论,13,例1.2 导弹发射问题,例1.2 导弹发射问题,2019年1月12日星期六,现代控制理论,15,例1.2 导弹发射问题,2019年1月12日星期六,现代控制理论,16,例1.2 导弹发射问题,初始条件,2019年1月12日星期六,现代控制理论,17,例1.2 导弹发射问题,初始条件,末端约束,2019年1月12日星期六,现代控制理论,18,例1.2 导弹发射问题,初始条件,末端约束,指标,2019年1月12日星期六,现代控制理论,19,例1.2 导弹发射问题,初始条件,末端约束,指标,控制,1.2 问题描述,(1) 状态方程 一般形式为,2019年1月12日星期六,现代控制理论,21,1.2 问题描述,(1) 状态方程 一般形式为,2019年1月12日星期六,现代控制理论,22,1.2 问题描述,(1) 状态方程 一般形式为,为n维状态向量,2019年1月12日星期六,现代控制理论,23,1.2 问题描述,(1) 状态方程 一般形式为,为n维状态向量,为r 维控制向量,2019年1月12日星期六,现代控制理论,24,1.2 问题描述,(1) 状态方程 一般形式为,为n维状态向量,为r 维控制向量,为n维向量函数,2019年1月12日星期六,现代控制理论,25,1.2 问题描述,(1) 状态方程 一般形式为,为n维状态向量,为r 维控制向量,为n维向量函数,给定控制规律,2019年1月12日星期六,现代控制理论,26,1.2 问题描述,(1) 状态方程 一般形式为,为n维状态向量,为r 维控制向量,为n维向量函数,给定控制规律,满足一定条件时，方程有唯一解,(2) 容许控制,2019年1月12日星期六,现代控制理论,28,(2) 容许控制,：,2019年1月12日星期六,现代控制理论,29,(2) 容许控制,：,2019年1月12日星期六,现代控制理论,30,(2) 容许控制,：,有时控制域可为超方体,2019年1月12日星期六,现代控制理论,31,(2) 容许控制,：,有时控制域可为超方体,(3) 目标集,2019年1月12日星期六,现代控制理论,33,(3) 目标集,2019年1月12日星期六,现代控制理论,34,(3) 目标集,n维向量函数,2019年1月12日星期六,现代控制理论,35,(3) 目标集,固定端问题,n维向量函数,2019年1月12日星期六,现代控制理论,36,(3) 目标集,固定端问题,自由端问题,n维向量函数,(4) 性能指标,2019年1月12日星期六,现代控制理论,38,(4) 性能指标,2019年1月12日星期六,现代控制理论,39,(4) 性能指标,对状态、控制以及终点状态的要求，复合型性能指标,2019年1月12日星期六,现代控制理论,40,(4) 性能指标,对状态、控制以及终点状态的要求，复合型性能指标,2019年1月12日星期六,现代控制理论,41,(4) 性能指标,对状态、控制以及终点状态的要求，复合型性能指标,积分型性能指标，表示对整个状态和控制过程的要求,2019年1月12日星期六,现代控制理论,42,(4) 性能指标,对状态、控制以及终点状态的要求，复合型性能指标,积分型性能指标，表示对整个状态和控制过程的要求,2019年1月12日星期六,现代控制理论,43,(4) 性能指标,对状态、控制以及终点状态的要求，复合型性能指标,积分型性能指标，表示对整个状态和控制过程的要求,终点型指标，表示仅对终点状态的要求,2.1 泛函与变分法基础 2.2 欧拉方程 2.3 横截条件 2.4 含有多个未知函数泛函的极值 2.5 条件极值 2.6 最优控制问题的变分解法,第2章 求解最优控制的变分方法,求解最优控制的变分方法,2.1 泛函与变分法基础,平面上两点连线的长度问题,2019年1月12日星期六,现代控制理论,46,求解最优控制的变分方法,2.1 泛函与变分法基础,平面上两点连线的长度问题,2019年1月12日星期六,现代控制理论,47,求解最优控制的变分方法,2.1 泛函与变分法基础,平面上两点连线的长度问题,一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为,2019年1月12日星期六,现代控制理论,48,求解最优控制的变分方法,2.1 泛函与变分法基础,平面上两点连线的长度问题,一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为,称为泛函,称为泛函的宗量,泛函与函数的几何解释,2019年1月12日星期六,现代控制理论,50,泛函与函数的几何解释,2019年1月12日星期六,现代控制理论,51,泛函与函数的几何解释,宗量的变分,2019年1月12日星期六,现代控制理论,52,泛函与函数的几何解释,宗量的变分,泛函的增量,2019年1月12日星期六,现代控制理论,53,泛函与函数的几何解释,宗量的变分,泛函的增量,泛函的变分,2019年1月12日星期六,现代控制理论,54,泛函与函数的几何解释,连续泛函 宗量的变分趋于无穷小时，泛函的变分也趋于无 穷小 线性泛函 泛函对宗量是线性的,宗量的变分,泛函的增量,泛函的变分,求解最优控制的变分方法,定理2.2 若泛函,有极值，则必有,上述方法与结论对多个未知函数的泛数同样适用,2.6 最优控制问题的变分解法,2.6.4 终值时间自由的问题,2.6.3 末端受限问题,2.6.2 固定端问题,2.6.1 自由端问题,2.6.1 自由端问题,约束方程,新的泛函,令,有,哈米顿函数,进行变分,令,有,伴随方程,必要条件,例2.5,哈米顿函数,伴随方程,边界条件,必要条件,最优控制,代入状态方程并求解,令,2.6.2 固定端问题,性能指标,分部积分,进行变分,令变分为零,边界条件,指标泛函,例2.6 考虑如下系统的终端固定的最优控制问题，求取最优控制 和最优状态曲线，使指标泛函 J 取得极小值。 系统的状态方程：,2019年1月12日星期六,现代控制理论,63,哈米顿函数,伴随方程,由状态方程,代入初始和终端条件，可求得,2019年1月12日星期六,现代控制理论,64,4. 考虑如下系统的终端固定的最优控制问题，求取最优控制 和最优状态曲线，使指标泛函J取得极小值。 系统的状态方程为：,其边界条件为：,其指标泛函为：,2019年1月12日星期六,现代控制理论,65,哈米顿函数,伴随方程,2019年1月12日星期六,现代控制理论,66,2.6.3 末端受限问题,新的泛函,变分,必要条件,2.6.4 终值时间自由的问题,T 有时是可变的，是指标泛函，选控制使有 T 极小值,变分,必要条件,例2.7,指标泛函,哈米顿函数,伴随方程,必要条件,3.1 古典变分法的局限性 3.2 最大值原理 3.3 变分法与极大值原理,第3章 最大值原理,3.1 古典变分法的局限性,u(t)受限的例子,例3.1,伴随方程,极值必要条件,矛盾!,3.2 最大值原理,定理3.1 (最小值原理) 设为 容许控制， 为对应的积分轨线，为使 为最优控制， 为最优轨线，必存在一向量函数 ，使得 和 满足正则方程,且,最小值原理只是最优控制所满足的必要条件。但对于线性系统,最小值原理也是使泛函取最小值得充分条件。,例3.2 重解例3.1,哈密顿函数,伴随方程,由极值必要条件，知,又,于是有,协态变量与控制变量的关系图,例3.3,性能指标泛函,哈密顿函数,伴随方程,上有,协态变量与控制变量的关系图,整个最优轨线,例3.4,把系统状态在终点时刻转移到,性能指标泛函,终点时刻是不固定的,哈米顿函数,伴随方程,H是u的二次抛物线函数，u在 上一定使H有最小值，可能在内部，也可能在边界上。,最优控制可能且只能取三个值,此二者都不能使状态变量同时满足初始条件和终点条件,最优控制,最优轨线,最优性能指标,例3.5,使系统以最短时间从给定初态转移到零态,哈米顿函数,伴随方程,最优控制切换及最优轨线示意图,3.3 古典变分法与最小值原理,古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件,就等价于条件,4.1 多级决策过程与最优性原理 4.2 离散系统动态规划 4.3 连续系统动态规划 4.4 动态规划与最大值原理的关系,第4章 动态规划,动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。,4.1 多级决策过程与最优性原理,作为例子，首先分析最优路径问题,(a) (b) (c),试分析(a),(b)和(c)三种情况的最优路径，即从 走到 所需时间最少。规定沿水平方向只能前进不能后退。,(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。 (b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。 (c)需计算20次，因为这时有20条路径，由此可见，