最优控制理论主讲：罗文广授课内容1、最优控制概述2、最优控制中的变分法3、极小值原理及其应用4、动态规划5、线性最优状态调节器6、线性最优输出调节器与跟踪系统考核方式一、小设计论文（30） 1、选题选题：每人自选一个与最优控制相关的实际小问题，在小组讨论中初步确定选题。小组：每人自选一个与最优控制相关的实际小问题，在小组讨论中初步确定选题。小组45人，自行成立。人，自行成立。2、解题解题：通过建模、编程和仿真，获得问题的最优解；或者通过制作实物、编程，对对象：通过建模、编程和仿真，获得问题的最优解；或者通过制作实物、编程，对对象实现最优控制。实现最优控制。3、论文论文：通过以上工作，完成一篇小论文。：通过以上工作，完成一篇小论文。论文撰写格式按照广西工学院学报的格式要求。4、报告和答辩：每人约用、报告和答辩：每人约用10分钟对所做选题进行汇报和答辩分钟对所做选题进行汇报和答辩5、时间要求时间要求： 题目确定：第题目确定：第6周，个人上交自拟的题目。周，个人上交自拟的题目。 答辩时间：答辩时间：12周以后。周以后。 最后完成时间：本学期最后一周。最后完成时间：本学期最后一周。6、上交材料上交材料：（：（1）编制的程序、仿真结果，或制作的实物；（编制的程序、仿真结果，或制作的实物；（2）小论文。）小论文。由班长统一上交（含统计表）二、考试（70） 开卷方式第1章 导论 1.1 引言一、现代控制理论一、现代控制理论 现代控制理论是研究系统状态的控制和观测的理论，主要包括现代控制理论是研究系统状态的控制和观测的理论，主要包括5 5个方个方面：面： 1 1、线性系统理论：研究线性系统的性质，能观性、能控性、稳定性、线性系统理论：研究线性系统的性质，能观性、能控性、稳定性等。以等。以状态空间法状态空间法为主要工具研究多变量线性系统的理论。为主要工具研究多变量线性系统的理论。 2 2、系统辨识：根据输入、输出观测确定系统数学模型。、系统辨识：根据输入、输出观测确定系统数学模型。 3 3、最优控制、最优控制：寻找最优控制向量寻找最优控制向量u(t)。根据给定的目标函数和约束条根据给定的目标函数和约束条件件, ,寻求最优的控制规律的问题。寻求最优的控制规律的问题。 4 4、最佳滤波（卡尔曼滤波、最优估计）：存在噪声情况下，如何根、最佳滤波（卡尔曼滤波、最优估计）：存在噪声情况下，如何根据输入、输出估计状态变量。据输入、输出估计状态变量。 5 5、适应控制：利用辨识系统动态特性的方法随时调整控制规律以实、适应控制：利用辨识系统动态特性的方法随时调整控制规律以实现最优控制，即在参数扰动情况下，控制器的设计问题。现最优控制，即在参数扰动情况下，控制器的设计问题。 把鲁棒控制、预测控制均纳入到现代控制理论的范畴。把鲁棒控制、预测控制均纳入到现代控制理论的范畴。第1章 导论 1.1 引言 二、最优控制的发展简史二、最优控制的发展简史n先期工作：先期工作：q19481948年，年，维纳维纳( (N.WienerN.Wiener) )发表发表控制论控制论，引进了信息、反馈和控制引进了信息、反馈和控制等重要概念，奠定了控制论等重要概念，奠定了控制论(Cybernetics)(Cybernetics)的基础。并提出了相对于的基础。并提出了相对于某一性能指标进行最优设计的概念。某一性能指标进行最优设计的概念。19501950年年, ,米顿纳尔米顿纳尔(Medona1)(Medona1)首先首先将这个概念用于研究继电器系统在单位阶跃作用下的过渡过程的时间将这个概念用于研究继电器系统在单位阶跃作用下的过渡过程的时间最短最优控制问题。最短最优控制问题。q1 19 95 54 4年年，钱钱学学森森编编著著工工程程控控制制论论（上上下下册册），作作者者系系统统地地揭揭示示了了控控制制论论对对自自动动化化、航航空空、航航天天、电电子子通通信信等等科科学学技技术术的的意意义义和和重重大大影影响响。其其中中“最最优优开开关关曲曲线线”等等素素材材，直直接接促促进进了了最最优优控控制制理理论论的的形形成成和和发发展展。第1章 导论 1.1 引言n理论形成阶段：理论形成阶段： 自动控制联合会自动控制联合会(IFAC)(IFAC)第一届世界大会于第一届世界大会于19601960年召开年召开, ,卡尔曼卡尔曼（KalmanKalman）、贝尔曼（）、贝尔曼（R.BellmanR.Bellman）和庞特里亚金（）和庞特里亚金（PontryaginPontryagin）分）分别在会上作了别在会上作了“控制系统的一般理论控制系统的一般理论”、“动态规划动态规划”和和“最优控制最优控制理论理论”的报告的报告, ,宣告了最优控制理论的诞生宣告了最优控制理论的诞生, ,人们也称这三个工作是现人们也称这三个工作是现代控制理论的三个里程碑。代控制理论的三个里程碑。n1 19 95 53 31 19 95 57 7年年 ，贝贝 尔尔 曼曼( (R R. .E E. .B Be el ll lm ma an n) )创创 立立“动动态态规规划划”原原 理理。为为了了解解决决多多阶阶段段决决策策过过程程逐逐步步创创立立的的，依依据据最最优优化化原原理理，用用一一组组基基本本的的递递推推关关系系式式使使过过程程连连续续地地最最优优转转移移。“动动态态规规划划”对对于于研研究究最最优优控控制制理理论论的的重重要要性性，表表现现于于可可得得出出离离散散时时间间系系统统的的理理论论结结果果和和迭迭代代算算法法。第1章 导论n1 1 9 9 5 5 6 6 1 1 9 9 5 5 8 8年年，庞庞 特特 里里 亚亚 金金 创创 立立“ 极极 小小 值值 原原 理理” 。它它是是最最优优控控制制理理论论的的主主要要组组成成部部分分和和该该理理论论发发展展史史上上的的一一个个里里程程碑碑。对对于于“最最大大值值原原理理”，由由于于放放宽宽了了有有关关条条件件的的使使得得许许多多古古典典变变分分法法和和动动态态规规划划方方法法无无法法解解决决的的工工程程技技术术问问题题得得到到解解决决，所所以以它它是是解解决决最最优优控控制制问问题题的的一一种种最最普普遍遍的的有有效效的的方方法法。同同时时，庞庞特特里里亚亚金金在在最最优优过过程程的的数数学学理理论论著著作作中中已已经经把把最最优优控控制制理理论论初初步步形形成成了了一一个个完完整整的的体体系系。q此外，构成最优控制理论及现代最优化技术理论基础的代表性工作，此外，构成最优控制理论及现代最优化技术理论基础的代表性工作， 还有不等式约束条件下的非线性最优必要条件还有不等式约束条件下的非线性最优必要条件( (库恩库恩图克定理图克定理) )以以及卡尔曼的关于随机控制系统最优滤波器等。及卡尔曼的关于随机控制系统最优滤波器等。第1章 导论 1.2 最优控制问题一、问题的描述已知被控系统的状态方程以及给定的初始状态规定的目标集为S(例如 ）求一容许控制 ,使系统在该控制的作用下由初态出发，在某个大于t0 的终端时刻tf 达到目标集S上，并使性能指标 达到最小。第1章 导论 1.2 最优控制问题从以上最优控制问题的描述中可见：从以上最优控制问题的描述中可见：1 1、有一个被控对象（系统数学模型）、有一个被控对象（系统数学模型） 它通常由常微分方程组描述的动态模型来表征，即它通常由常微分方程组描述的动态模型来表征，即 其初态一般是给定的，即其初态一般是给定的，即2 2、有一目标集及边界条件、有一目标集及边界条件 目标集目标集：在控制：在控制u的作用下，把被控对象的初态的作用下，把被控对象的初态x0在某个在某个终端时刻转移到某个终端状态终端时刻转移到某个终端状态x(tf)。 x(tf)通常受几何约束。通常受几何约束。例如考虑它是一个点集，在约束条件例如考虑它是一个点集，在约束条件 下下 目标集为目标集为第1章 导论 1.2 最优控制问题边界条件边界条件：初始状态：初始时刻初始状态：初始时刻t0和和x(t0),通常是已知的。通常是已知的。末端状态：末端时刻末端状态：末端时刻tf和和x(tf) ，通常是未知的。通常是未知的。3 3、容许控制集、容许控制集控制向量控制向量u的各个分量的各个分量ui往往是具有不同物理属性的控制量。往往是具有不同物理属性的控制量。在实际控制问题中，大多数控制量受客观条件的限制只能在实际控制问题中，大多数控制量受客观条件的限制只能取值于一定的范围，将控制约束条件的点集称为控制域取值于一定的范围，将控制约束条件的点集称为控制域 ，则将在闭区间则将在闭区间 t0,tf 上有定义，且在控制域内取值的每上有定义，且在控制域内取值的每个控制函数个控制函数u(t)称为容许控制，记做称为容许控制，记做第1章 导论 1.2 最优控制问题4 4、性能指标、性能指标 为了能在各种控制律中寻找到效果最好的控制，需要建立为了能在各种控制律中寻找到效果最好的控制，需要建立一种评价控制效果好坏或控制品质优劣的性能指标函数。一种评价控制效果好坏或控制品质优劣的性能指标函数。又称代价（成本，目标）函数或泛函，记做又称代价（成本，目标）函数或泛函，记做 ，它是一个依赖于控制的有限实数，一般的表达式为：它是一个依赖于控制的有限实数，一般的表达式为： 该表达式包括了依赖于终端时刻该表达式包括了依赖于终端时刻t tf f和终端状态和终端状态x(tf)的末值的末值型项，以及依赖于这个控制过程的积分型项。因此，可将型项，以及依赖于这个控制过程的积分型项。因此，可将最优控制问题的性能指标分为：混合型、末值型和积分型。最优控制问题的性能指标分为：混合型、末值型和积分型。不同的控制问题，应取不同的性能指标：不同的控制问题，应取不同的性能指标： 第1章 导论 1.2 最优控制问题（1 1）积分型性能指标）积分型性能指标： a.a.最短时间控制：最短时间控制： b.b.最少燃烧控制：最少燃烧控制： c.c.最小能量控制最小能量控制: :（2 2）末值型性能指标）末值型性能指标（3 3）混合型性能指标）混合型性能指标第1章 导论 1.2 最优控制问题二、对最优控制问题的进一步说明二、对最优控制问题的进一步说明 如果最优控制问题有解，即如果最优控制问题有解，即: :使使 达到极小值的控制达到极小值的控制函数存在，记为函数存在，记为 ，称为最优控制；相，称为最优控制；相应的状态轨迹应的状态轨迹x*(t)称为最优轨迹；性能指标称为最优轨迹；性能指标 称为最优性能指标。称为最优性能指标。三、举例三、举例 月球上的软着陆问题（最小燃耗问题）月球上的软着陆问题（最小燃耗问题）飞船靠其发动机产生一与月球重力方向相反的推力飞船靠其发动机产生一与月球重力方向相反的推力u(tu(t) )，以使飞船在月球表面实现软着陆，要寻求发，以使飞船在月球表面实现软着陆，要寻求发动机推力的最优控制规律，以便使燃料的消耗为最动机推力的最优控制规律，以便使燃料的消耗为最少。少。第1章 导论 1.2 最优控制问题设飞船质量为设飞船质量为m(tm(t) )，高度为，高度为h(th(t) )，垂直速度为，垂直速度为v(tv(t) )，发动机推力为，发动机推力为u(tu(t) )，月球表面的重力加速，月球表面的重力加速度为常数度为常数g g。设不带燃料的飞船质量为。设不带燃料的飞船质量为M M， 初始初始燃料的总质量为燃料的总质量为F F初始高度为初始高度为h h0 0，初始的垂直，初始的垂直速度为速度为v v0 0，那么飞船的，那么飞船的运动方程式运动方程式可以表示为：可以表示为：初始条件 终端条件终端条件 性能指标性能指标是使燃料消耗为最小，即是使燃料消耗为最小，即 约束条件达到最大值 第2章 最优控制中的变分法变分法是求解泛函极值的一种经典方法，因此也是研究最优控制问题的一种重要工具。本章的中心内容是介绍经典变分法的基本原理，并加以推广，用以求解某些最优控制问题。尽管经典变分法有其局限性，但本章所涉及的有关内容，在最优控制理论中是最基本的东西。第2章 最优控制中的变分法 2.1 泛函与变分（1）泛函定义: 给定函数空间U，若对于任何函数x(t) U，总有一个确定的值J(x(t)与之对应，则称J(x(t)是函数x(t)的泛函。这里x(t)常被称做宗量。从定义中可以发现，泛函是变量与函数之间的关系,常称之为“函数的函数”。例： 是一个泛函，当x(t)=t时，J=0.5; 而不定积分 不是一个泛函。 第2章 最优控制中的变分法 2.1 泛函与变分函数：对于变量t的某一变域中的每一个值，x都有一个值与之相对应，那么变量x称作变量t的函数。记为： x=f (t)t称为函数的自变量自变量的微分：dt=t-t0 （增量足够小时）泛函：对于某一类函数x()中的每一个函数x(t)，变量J都有一个值与之相对应，那么变量J称作依赖于函数x(t)的泛函。记为： J=J x(t)x(t)称为泛函的宗量宗量的变分：函数与泛函比较：第2章 最优控制中的变分法 2.1 泛函与变分关于变分，可将泛函的变分概念看成是函数微分概念的推广，其作用如同微分在函数中的作用。（2）变分定义: 若连续泛函J(x(t)的增量可表示为n 其中第一项是 的连续线性泛函，第二项是关于 的高阶无穷小，则称上式第一项为泛函的变分，记做 如同函数的微分是函数增量的线性主部一样，泛函的变分就是泛函增量的线性主部。第2章 最优控制中的变分法 2.1 泛函与变分显然，直接用定义求泛函的变分 很困难。因此必须寻求一种计算方法。（3）计算泛函变分的公式定理21 如果连续泛函J(x(t)的变分存在，则证明： (见P12) 例子：（见P12 ）为了确定泛函的极小值或极大值，需要考察泛函的二次变分：（4）二次变分定义：P12（5）求解二次变分定理：P12第2章 最优控制中的变分法 2.1 泛函与变分例：求下列泛函的变分第2章 最优控制中的变分法 2.1 泛函与变分（6）泛函极值定义：定义215对于与x0(t)接近的曲线x(t)，泛函Jx(t) 的增量（7）泛函极值的必要条件：定理23（8）泛函极小值的充要条件：定理24（9）变分引理：定理25 则泛函Jx(t) 在曲线x0(t)上达到极值。泛函极值定理： 若可微泛函Jx(t)在x0(t)上达到极值，则在x= x0(t)上的变分为零。即第2章 最优控制中的变分法 2.2 欧拉方程主要讨论：（1）无约束和有约束情况下，泛函极值存在的必要条件欧拉方程；（2）泛函极小值的充分条件勒让德条件。2.2.1 无约束泛函极值的必要条件这里所提到的约束或无约束是指状态x(t)的约束问题。无约束：指求解最优控制解时状态无约束，即无状态方程的约束。1、所定义的问题问题2-1:无约束泛函极值问题为问题为：确定一个函数x(t)，使Jx(t) 达到极小（大）值。这条能使泛函Jx(t) 达到极值的曲线称为极值曲线（轨线），记作：x*(t)，见图2-2。对于端点固定的情况，容许轨线x(t)应满足下列边界条件：第2章 最优控制中的变分法 2.2 欧拉方程2、极值的必要条件定理26：极值轨线x(t)满足欧拉方程证明：P16.注意名词：横截条件（第3节讨论）例22：（求极值轨线）2.2.2 有等式约束的泛函极值的必要条件在最优控制问题中，泛函Jx(t)所依赖的函数x(t)往往会受到一定约束条件的限制。在动态最优化问题中，由于受控系统的数学模型往往用微分方程来描述，所以等式约束就是系统的状态方程。等式约束：系统的运动微分方程第2章 最优控制中的变分法 2.2 欧拉方程1、定义的问题问题描述：问题222、极值的必要条件解决有约束问题方法：将有约束问题转化为无约束问题，利用无约束的结论。通过引入拉格朗日乘子向量，解决这个问题。定理27：（主要的问题：将有约束问题转化为无约束问题后的拉格朗日乘子向量定义、计算）这里，为了将有约束条件的泛函极值问题转化为无约束条件的泛函极值问题，应用拉格朗日乘子法。为此，引入待定的n维拉格朗日乘子向量(t)，即证明：P18例2-3：第2章 最优控制中的变分法 2.2 欧拉方程2.2.3 泛函极小值的充分条件（1）无约束情况定理2-8：（2）有约束情况定理2-9：例2-4:第2章 最优控制中的变分法 2.3 横截条件横截条件：两点边界满足的条件。例如式（226） 前面讨论的是最简单的情况：两端固定（初始状态和末端状态）且初始时刻和末端时刻都固定，在工程实际中存在许多复杂的情况，讨论如下：2.3.1 末端时刻固定时的横截条件末端时刻tf固定，存在以下几种情况：见表2-12.3.2 末端时刻自由时的横截条件横截条件：式（2-53）末端时刻tf自由，存在以下几种情况：见表2-22.3.3 初始时刻自由时的横截条件横截条件：式（2-62）初始时刻自由，存在以下几种情况：见表2-2横截条件：第2章 最优控制中的变分法 2.4 用变分法解最优控制问题用变分法求解连续系统最优控制问题:(1)具有等式约束条件的泛函极值问题，只要把受控系统的数学模型看成是最优轨线x(t) 应满足的等式约束条件即可；(2)控制变量不受约束；（3）末端时刻固定和末端时刻自由时最优解的必要条件和充分条件。一、可用变分法求解的最优控制问题一般描述，非线性时变系统状态方程为初始状态其中，x 为n 维状态向量； u 为m 维控制向量； f 为n 维向量函数。要求在控制空间中寻求一个最优控制向量 (不受约束) ，使以下性能指标沿最优轨线 取极小值。tttJfttfd),()(0+=uxLx目标集（末端状态集）第2章 最优控制中的变分法 2.4 用变分法解最优控制问题二、末端时刻固定时的最优解问题的描述：P301、末端受约束情况两个约束：状态受系统状态方程约束，末端状态受目标集约束。引入两个拉格朗日乘子向量(t)、(t)，构造广义泛函（无条件极值）：定义哈密顿函数(关于该函数的说明P31)代入上式得式中的第三项进行分部积分，得当泛函J 取极值时，其一次变分等于零。 即第2章 最优控制中的变分法 2.4 用变分法解最优控制问题可以变分的量：求出J 的一次变分并令其为零广义泛函取极值的必要条件是（定理210）正则方程：边界条件：极值条件（控制方程）：不可以变分的量：(t)第2章 最优控制中的变分法 2.4 用变分法解最优控制问题几点说明：1）实际上，（2-73）式和（2-74）式为欧拉方程。因为推导过程：如果令（广义泛函的积分内的函数）简记成由欧拉方程得到即第2章 最优控制中的变分法 2.4 用变分法解最优控制问题而（275）式和初始条件（266）就是横截条件。2） 是泛函取极值的必要条件，是否为极小值还需要二次变分 来判断， 则泛函J 取极小值。02J第2章 最优控制中的变分法 2.4 用变分法解最优控制问题3） 哈密顿函数沿最优轨线随时间的变化率在最优控制 、最优轨线 下，有 和（270）式的哈密顿函数对 求偏导，结果为 由（277）式可得于是x), ux,(f&=t第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏导数。记为 则对上式积分，得到当哈密顿函数不显含 t 时，得第2章 最优控制中的变分法 2.4 用变分法解最优控制问题2、末端自由情况广义泛函取极值的必要条件是（定理211）正则方程：边界条件：极值条件：3、末端固定情况广义泛函取极值的必要条件是（定理212）正则方程：边界条件：极值条件：末端时刻固定时最优解的充分条件：定理213第2章 最优控制中的变分法 2.4 用变分法解最优控制问题三、末端时刻自由时的最优解推导过程与末端时刻固定时一样，只不过不同在于可以变分的量：不可以变分的量：末端受约束情况：定理214末端自由情况：定理215末端固定时情况：定理216注意与末端时刻固定的情况不同。第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理问题的提出问题的提出 用变分法求解最优控制时，认用变分法求解最优控制时，认为控制向量为控制向量 不受限制。但是不受限制。但是实际的系统，控制信号都是受到实际的系统，控制信号都是受到某种限制的。某种限制的。 因此，应用控制方程因此，应用控制方程来确定最优控制，可能出错。来确定最优控制，可能出错。a)a)图中所示，图中所示，H 最小值出现在左侧，最小值出现在左侧，不满足控制方程。不满足控制方程。b)b)图中不存在图中不存在 rRUt )(u第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理一、自由末端的极小值原理一、自由末端的极小值原理定理定理3-13-1：对应如下定常系统、末值型性能指标、末端自由、控制受约束：对应如下定常系统、末值型性能指标、末端自由、控制受约束的最优控制问题的最优控制问题 及及满足下述正则方程满足下述正则方程: :对于最优解和最优末端时刻、最优轨线，存在非零的对于最优解和最优末端时刻、最优轨线，存在非零的n n维向量函数维向量函数 使使第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理式中哈密顿函数式中哈密顿函数及及满足边界条件满足边界条件哈密顿函数相对最优控制为极小值哈密顿函数相对最优控制为极小值哈密顿函数沿最优轨迹线保持为常数哈密顿函数沿最优轨迹线保持为常数固定时固定时当当自由时自由时当当第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理上述极小值原理与变分法主要区别在于条件上述极小值原理与变分法主要区别在于条件。当控制无约束时，当控制无约束时，相应条件为相应条件为 ；不再成立，而代之为不再成立，而代之为当控制有约束时，当控制有约束时，极小值原理的重要意义极小值原理的重要意义：（：（P51)（1）容许控制条件放宽了。）容许控制条件放宽了。（2）最优控制使哈密顿函数取全局极小值。）最优控制使哈密顿函数取全局极小值。（3）极小值原理不要求哈密顿函数对控制的可微性。）极小值原理不要求哈密顿函数对控制的可微性。（4）极小值原理给出了最优控制的必要而非充分条件。）极小值原理给出了最优控制的必要而非充分条件。例例31：说明：说明：1 1）极小值原理给出的只是最优控制应该满足的必要条件。）极小值原理给出的只是最优控制应该满足的必要条件。2 2）极小值原理与用变分法求解最优问题相比，差别仅在于极值条件。）极小值原理与用变分法求解最优问题相比，差别仅在于极值条件。3 3）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求性能指标性能指标J J的极小值与求的极小值与求J J的极大值等价。的极大值等价。4 4）非线性时变系统也有极小值原理。）非线性时变系统也有极小值原理。第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理二、极小值原理的一些推广形式二、极小值原理的一些推广形式1、时变问题、时变问题定义：描述最优控制问题的相关函数显含时间，称为时变问题。定义：描述最优控制问题的相关函数显含时间，称为时变问题。解决办法：引入新状态变量，将时变问题转为定常问题，利用定理解决办法：引入新状态变量，将时变问题转为定常问题，利用定理3-1。定理定理3-23-2： 满足下述正则方程满足下述正则方程: :及及式中哈密顿函数式中哈密顿函数第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理及及满足边界条件满足边界条件哈密顿函数相对最优控制为极小值哈密顿函数相对最优控制为极小值在最优轨线末端哈密顿函数应满足在最优轨线末端哈密顿函数应满足沿最优轨线哈密顿函数变化率沿最优轨线哈密顿函数变化率定理定理3 32 2与定理与定理3 31 1的区别：的区别：P61P61第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理2 2、积分型性能指标问题、积分型性能指标问题定理定理3-33-3： 满足下述正则方程满足下述正则方程: :及及式中哈密顿函数式中哈密顿函数及及满足边界条件满足边界条件第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理哈密顿函数相对最优控制为极小值哈密顿函数相对最优控制为极小值哈密顿函数沿最优轨迹线保持为常数哈密顿函数沿最优轨迹线保持为常数固定时固定时当当自由时自由时当当第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理例例3-23-2：试求：试求： 时的时的 ，解：定常系统、积分型解：定常系统、积分型 ， 固定，固定， 自由，自由， 受约束。取哈密顿函数受约束。取哈密顿函数由协态方程由协态方程由边界条件由边界条件注：控制的切换点为注：控制的切换点为(ts)=1第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理控制的切换点处控制的切换点处根据边界条件继续求出：根据边界条件继续求出：代入状态方程得代入状态方程得第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理最优性能指标为：最优性能指标为：例例3-3：3、末端受约束的情况、末端受约束的情况做法与前面得一样，引入两个拉格朗日乘子向量，构造广义泛函，做法与前面得一样，引入两个拉格朗日乘子向量，构造广义泛函，在满足末端约束条件下，泛函取得极值是等价的。在满足末端约束条件下，泛函取得极值是等价的。定理定理3-4：（定常系统）：（定常系统）定理定理3-5:（时变系统）（时变系统）4、复合型性能指标情况、复合型性能指标情况定理定理36：表表3-1,3-2例例35：第第3章章 极小值原理及其应用极小值原理及其应用 3.2 离散系统的极小值原理离散系统的极小值原理一、离散欧拉方程一、离散欧拉方程控制序列不受约束时控制序列不受约束时，利用，利用离散变分法离散变分法求解离散系统的最优控制问题。求解离散系统的最优控制问题。设系统的差分方程为：设系统的差分方程为：系统的性能指标为：系统的性能指标为：离散泛函取得极值的必要条件（欧拉方程）离散泛函取得极值的必要条件（欧拉方程）离散横截条件为：离散横截条件为：若始端固定，末端自由，若始端固定，末端自由，由离散横截条件得边界条件：由离散横截条件得边界条件：例例36：第第3章章 极小值原理及其应用极小值原理及其应用 3.2 离散系统的极小值原理离散系统的极小值原理二、离散极小值原理二、离散极小值原理先给出先给出控制序列不受约束控制序列不受约束时得离散极小值原理，然后推广到时得离散极小值原理，然后推广到控制序列受控制序列受约束约束的情况。的情况。1、末端状态受等式约束、末端状态受等式约束定理定理3-73-7: :设离散系统状态方程设离散系统状态方程系统的性能指标为：系统的性能指标为：目标集：目标集：取得极值的必要条件：取得极值的必要条件：和和满足下列差分方程满足下列差分方程: :式中离散哈密顿函数式中离散哈密顿函数第第3章章 极小值原理及其应用极小值原理及其应用 3.2 离散系统的极小值原理离散系统的极小值原理和和满足边界条件满足边界条件离散哈密顿函数对最优控制离散哈密顿函数对最优控制取极小值取极小值控制序列不受约束时控制序列不受约束时2 2、末端状态自由时、末端状态自由时定理定理3 38 8：例例3 37 7：第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制时间最优控制：时间最优控制：如果性能指标是系统由初态转移到目标集的运动时间，则使如果性能指标是系统由初态转移到目标集的运动时间，则使转移时间为最短的控制称为时间最优控制。转移时间为最短的控制称为时间最优控制。一、一类非线性系统的时间最优控制一、一类非线性系统的时间最优控制最短时间控制问题的提法：最短时间控制问题的提法： 设受控系统状态方程为设受控系统状态方程为 给定终端约束条件为给定终端约束条件为 寻求寻求m m维有界闭集中的最优控制维有界闭集中的最优控制u u* *( (t t) )，满足不等式约束满足不等式约束 使系统从已知初始状态使系统从已知初始状态 转移到目标集中某一状态转移到目标集中某一状态 时，如时，如下目标泛函取极小值，其中下目标泛函取极小值，其中 未知未知 属于时变系统、积分型性能指标、终端受约束的最优控制问题属于时变系统、积分型性能指标、终端受约束的最优控制问题 第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制应用极小值原理，系统的哈密尔顿函数为：应用极小值原理，系统的哈密尔顿函数为：在使在使J J最小以实现最优控制的必要条件中，最小以实现最优控制的必要条件中，侧重分析极值条件侧重分析极值条件将上式中的矩阵表达式展开成分量形式将上式中的矩阵表达式展开成分量形式则极值条件可写为：则极值条件可写为：第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制由上式可见，由于由上式可见，由于 是确定的，故使是确定的，故使 取极小值的最优控制为取极小值的最优控制为或简写为：或简写为： 根据根据 是否为零，将系统分为两种情形：正常（平凡）、奇异（非平凡）是否为零，将系统分为两种情形：正常（平凡）、奇异（非平凡）（砰（砰- -砰控制）砰控制）第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制正常（平凡）最短时间控正常（平凡）最短时间控制系统（定义制系统（定义3 31 1） 只是在各个孤立的瞬只是在各个孤立的瞬刻才取零值，刻才取零值， 是有第一是有第一类间断点的分段常数函数类间断点的分段常数函数。奇异（非平凡）最短时间奇异（非平凡）最短时间控制系统（定义控制系统（定义3 32 2）并不意味着在该区间内最并不意味着在该区间内最优控制不存在，仅表明，优控制不存在，仅表明，从必要条件不能推出确切从必要条件不能推出确切关系式。关系式。定理定理3 39 9：砰：砰- -砰控制原理砰控制原理第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制二、线性定常系统的时间最优控制二、线性定常系统的时间最优控制线性时间最优调节器问题的提法（线性时间最优调节器问题的提法（问题问题3 32 2）：）： 设受控系统状态方程为设受控系统状态方程为 给定终端约束条件为给定终端约束条件为 寻求寻求m m维有界闭集中的最优控制维有界闭集中的最优控制u u* *( (t t) )，满足不等式约束满足不等式约束 使系统以最短时间从初始状态使系统以最短时间从初始状态 转移到状态空间原点。转移到状态空间原点。目标泛函目标泛函取极小值取极小值根据上一节的结论，可得极值条件为：根据上一节的结论，可得极值条件为：第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制对于线性定常系统的最短时间控制问题，经过理论推导和证明，可得如对于线性定常系统的最短时间控制问题，经过理论推导和证明，可得如下重要结论：下重要结论：（1 1）系统正常（平凡）的充要条件（定理系统正常（平凡）的充要条件（定理3 31111）：当且仅当：当且仅当m m个矩阵个矩阵中全部为非奇异矩阵时，系统是正常（平凡）的。（至少有一个为奇异中全部为非奇异矩阵时，系统是正常（平凡）的。（至少有一个为奇异矩阵时，系统是奇异的矩阵时，系统是奇异的（定理（定理3 31010） ）定理定理3-113-11: :当且仅当当且仅当 问题问题3-23-2是正常的是正常的 （2 2）系统最优解存在的条件系统最优解存在的条件：常数矩阵：常数矩阵A A的特征值全部具有非正实部。的特征值全部具有非正实部。（3 3）最优解唯一性定理：最优解唯一性定理：系统是平凡的且最短时间控制存在，则最短时系统是平凡的且最短时间控制存在，则最短时间控制必然是唯一的。间控制必然是唯一的。( (定理定理3-123-12) )（4 4）开关次数定理开关次数定理：系统是平凡的且最短时间控制存在，则最优控制：系统是平凡的且最短时间控制存在，则最优控制u u* *的任一分量的任一分量 的的切换次数最多为切换次数最多为n-1n-1次。次。（n n为系统维数）为系统维数）( (定理定理3-143-14) )第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制三、三、双积分模型的最短时间控制问题双积分模型的最短时间控制问题双积分模型的物理意义：惯性负载在无阻力环境中运动（例双积分模型的物理意义：惯性负载在无阻力环境中运动（例3 38 8） 负载运动方程：负载运动方程： 传递函数：传递函数： （由（由两个积分环节两个积分环节组成）组成） 定义定义u u( (t t)=)=f f( (t t)/)/m m , , 则上式变为则上式变为： 取状态变量取状态变量 则有则有 矩阵形式为：矩阵形式为： 第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制定理定理3-153-15正则方程正则方程式中哈密顿函数式中哈密顿函数边界条件边界条件， 极小值条件极小值条件函数变化率函数变化率第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制双积分模型最短时间控制问题的提法：双积分模型最短时间控制问题的提法： 已知二阶系统的状态方程为已知二阶系统的状态方程为 给定端点约束条件为给定端点约束条件为 寻求有界闭集中的最优控制寻求有界闭集中的最优控制u u* *( (t t) )，满足不等式约束满足不等式约束 使系统从以最短时间从任意初态转移到终态。使系统从以最短时间从任意初态转移到终态。先判断该系统是否平凡？先判断该系统是否平凡？第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制由上节重要结论可知：由上节重要结论可知：（1 1）本系统为（正常）本系统为（正常）平凡平凡最短时间控制系统最短时间控制系统（2 2）其时间最优控制必然存在且唯一）其时间最优控制必然存在且唯一（3 3）时间最优控制）时间最优控制u(t)u(t)至多切换一次至多切换一次 最优控制表达式：最优控制表达式： 下面利用协态方程求解下面利用协态方程求解 哈密顿函数：哈密顿函数： 最优控制：最优控制：第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制 为一直线，为非零向量，故为一直线，为非零向量，故c1c1和和c2c2不能同时为零。由于开关次数的不能同时为零。由于开关次数的限制，其四种可能的开关序列为（如图限制，其四种可能的开关序列为（如图3-73-7）：）： 下面通过图解法，在下面通过图解法，在相平面上分析相平面上分析相轨迹转移的规律，从而寻找最优相轨迹转移的规律，从而寻找最优控制控制u u* *(t)(t)。首先求解状态轨线的方程。令首先求解状态轨线的方程。令 ：相轨迹方程为相轨迹方程为令令相轨迹相轨迹满足末态要求的相轨迹为满足末态要求的相轨迹为满足末态要求的相轨迹为满足末态要求的相轨迹为两种情况组合后两种情况组合后第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制为开关曲线为开关曲线第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制求解状态转移最短时间求解状态转移最短时间t t* *：第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制式（式（1 1）与式（）与式（2 2）比较有）比较有第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制四、离散系统的时间最优控制四、离散系统的时间最优控制离散系统的时间最优控制问题：最多在离散系统的时间最优控制问题：最多在n n个采样周期内，可使任意初始状态个采样周期内，可使任意初始状态转移到要求的末端状态。找出这转移到要求的末端状态。找出这n n个采样周期内的控制序列，则是最优控制个采样周期内的控制序列，则是最优控制序列。序列。线性定常离散系统的控制线性定常离散系统的控制:P106:P106例例3 39 9：第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制燃料最优控制问题的提法：燃料最优控制问题的提法： 设受控系统状态方程为设受控系统状态方程为 给定端点约束条件为给定端点约束条件为 寻求寻求m m维有界闭集中的最优控制维有界闭集中的最优控制u u* *( (t t) )，满足不等式约束满足不等式约束 使系统从已知初始状态使系统从已知初始状态 转移到目标集中某一状态转移到目标集中某一状态 时，如时，如下目标泛函取极小值，其中下目标泛函取极小值，其中 未知未知 第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制二次积分模型最少燃料控制问题的提法：二次积分模型最少燃料控制问题的提法： 已知二阶系统的状态方程为已知二阶系统的状态方程为 寻求有界闭集中的最优控制寻求有界闭集中的最优控制u u* *( (t t) )，满足不等式约束满足不等式约束 二次积分模型的燃料最优控制问题（问题二次积分模型的燃料最优控制问题（问题3-73-7） 使系统由任意初始状态使系统由任意初始状态 ，转移到预定终态，转移到预定终态 ，并使如下，并使如下目标函数取极小值目标函数取极小值 。其中。其中 自由。自由。 给定端点约束条件为给定端点约束条件为 第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制哈密顿函数：哈密顿函数：协态方程：协态方程：极小值条件：极小值条件：哈密顿函数在末端时刻变化率：哈密顿函数在末端时刻变化率：哈密顿函数取得极小值后，极小值条件式等价于：哈密顿函数取得极小值后，极小值条件式等价于：用极小值原理求解：用极小值原理求解：对最优控制取得极小值对最优控制取得极小值第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制令令则则关系如图关系如图3 32121（分析如何得到图）。（分析如何得到图）。死区函数关系：死区函数关系：引入死区函数记号引入死区函数记号dezdez：得图得图3 32121的的b b图图则则得图得图3 32121的的a a图图第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制平凡平凡燃料最优控制燃料最优控制奇异奇异（非平凡）燃料最优（非平凡）燃料最优控制控制并不意味着在该区间内最并不意味着在该区间内最优控制不存在，仅表明，优控制不存在，仅表明，利用常规公式无法求解利用常规公式无法求解第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制(1)(1)奇异区内奇异区内，有（命题，有（命题3 31 1）(2)(2)平凡区内平凡区内，此时，此时得出得出9 9种可能的控制序列种可能的控制序列作为候选函数（命题作为候选函数（命题3 32 2）第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制等速直线等速直线由图见，这是一族不通过原点的平行线，或是由图见，这是一族不通过原点的平行线，或是x1x1轴上的孤立点。因此，以轴上的孤立点。因此，以u=0u=0结尾的控制序结尾的控制序列不是最优控制，九个序列变为六个。列不是最优控制，九个序列变为六个。该关系式提供了该关系式提供了燃料消耗量的下限燃料消耗量的下限，所以，如果能找到一个控制，驱使，所以，如果能找到一个控制，驱使状态从初态转移到原点的燃料消耗为状态从初态转移到原点的燃料消耗为 ，则该控制肯定是燃料最优控，则该控制肯定是燃料最优控制。制。命题命题3 33 3： 第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制曲线曲线 以及坐标轴以及坐标轴x1x1将相平面分成了四个区将相平面分成了四个区域域第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制（1 1）初态位于开关曲线）初态位于开关曲线 上上命题命题3-4: 3-4: 对于问题对于问题3-7,3-7,若初态若初态 ，则，则 是燃料最优控制，是燃料最优控制，且唯一。若初态且唯一。若初态 ，则，则 是燃料最优控制，且唯一。是燃料最优控制，且唯一。（2 2）初态位于区域）初态位于区域R4R4和和R2R2上上命题命题3-5:3-5:对于问题对于问题3-7,3-7,若初态若初态 ，则，则 是燃料最优控是燃料最优控制。若初态制。若初态 ，则，则 是燃料最优控制。是燃料最优控制。q 平凡情况：只有序列平凡情况：只有序列 00，+1+1和和-1-1，0 0，+1+1可驱使系统状态到达原点。其中：可驱使系统状态到达原点。其中：00，+1+1控制下，燃料消耗为控制下，燃料消耗为-1-1，0 0，+1+1，燃料消耗大于，燃料消耗大于结论：结论：00，+1+1为最优控制序列，且在各种情况为最优控制序列，且在各种情况下其响应时间最短下其响应时间最短第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制（3 3）初态位于区域）初态位于区域R1R1和和R3R3上上q 平凡情况：只有序列平凡情况：只有序列 -1-1，0 0，+1+1可驱使系统状态到达原点。可驱使系统状态到达原点。结论：燃料控制问题无解结论：燃料控制问题无解（ 燃料最优控制燃料最优控制( (命题命题3-6)3-6)）第第3章章 极小值原理及其应用极小值原理及其应用 3.4 燃料最优控制燃料最优控制类似地，可对其它两个区间进行研究。综上所述，双积分装置最少燃类似地，可对其它两个区间进行研究。综上所述，双积分装置最少燃料问题的控制规律如下：料问题的控制规律如下：第第3章章 极小值原理及其应用极小值原理及其应用 3.5 时间燃料最优控制时间燃料最优控制一、问题的提出一、问题的提出以节省燃料为目标的燃料最优控制问题，一般说响应速度慢，有时不能以节省燃料为目标的燃料最优控制问题，一般说响应速度慢，有时不能满足系统的性能要求。为此，将时间与燃料综合考虑，使所设计的控制满足系统的性能要求。为此，将时间与燃料综合考虑，使所设计的控制系统既能节约燃料，又不至于响应缓慢，因此产生了时间系统既能节约燃料，又不至于响应缓慢，因此产生了时间-燃料最优控制燃料最优控制问题。取性能指标：问题。取性能指标：0,0,为时间加权系数，表示设计者对响应时间的重视程度。若为时间加权系数，表示设计者对响应时间的重视程度。若0 0，表示不计响应时间长短，只考虑节省燃料；若，表示不计响应时间长短，只考虑节省燃料；若无穷大，无穷大，表示不计燃料消耗，只要求时间最短。表示不计燃料消耗，只要求时间最短。第第3章章 极小值原理及其应用极小值原理及其应用 3.5 时间燃料最优控制时间燃料最优控制二次积分模型最少燃料控制问题的提法：二次积分模型最少燃料控制问题的提法： 已知二阶系统的状态方程为已知二阶系统的状态方程为 寻求有界闭集中的最优控制寻求有界闭集中的最优控制u u* *( (t t) )，满足不等式约束满足不等式约束 二、二次积分模型的燃料最优控制问题（问题二、二次积分模型的燃料最优控制问题（问题3-83-8） 使系统由任意初始状态使系统由任意初始状态 ，转移到预定终态，转移到预定终态 ，并使如下，并使如下目标函数取极小值目标函数取极小值 。其中。其中 自由。自由。 给定端点约束条件为给定端点约束条件为 第第3章章 极小值原理及其应用极小值原理及其应用 3.5 时间燃料最优控制时间燃料最优控制属于定常系统、积分型性能指标、末端时间自由和末端固定的最优控制问题属于定常系统、积分型性能指标、末端时间自由和末端固定的最优控制问题哈密顿函数：哈密顿函数：协态方程：协态方程：极小值条件：极小值条件：哈密顿函数在末端时刻变化率：哈密顿函数在末端时刻变化率：经过分析（见经过分析（见P117-120P117-120），时间燃料最优控制是比单纯燃料最优控制），时间燃料最优控制是比单纯燃料最优控制和单纯时间最优控制更广泛的一类控制。两者是前者的特例。和单纯时间最优控制更广泛的一类控制。两者是前者的特例。用极小值原理求解：用极小值原理求解：第第4章章 动态规划动态规划本章主要内容：本章主要内容：q 4.1 4.1 多级决策问题多级决策问题q 4.2 4.2 离散动态规划离散动态规划q 4 4.3 .3 连续连续动态规划动态规划q 4.4 4.4 动态规划与变分法、极小值原理的关系动态规划与变分法、极小值原理的关系求解动态最优化问题的两种基本方法：最小值原理和求解动态最优化问题的两种基本方法：最小值原理和动态规划动态规划动态规划：美国学者贝尔曼在动态规划：美国学者贝尔曼在2020世纪世纪5050年代提出年代提出 是一种分级最优化方法是一种分级最优化方法 其连续形式与最小值原理相辅相成，深化了最优控制的研究其连续形式与最小值原理相辅相成，深化了最优控制的研究第第4章章 动态规划动态规划 4.1 多级决策问题多级决策问题多级决策过程多级决策过程 所谓多级决策过程，是指将一个过程按时间或空间顺序分为若干级所谓多级决策过程，是指将一个过程按时间或空间顺序分为若干级( (步步) )，然后，然后给每一级给每一级( (步步) )作出作出“决策决策”( (在控制过程中令每走一步所要决在控制过程中令每走一步所要决定的控制步骤称之为决策定的控制步骤称之为决策) )，以使整个过程取得最优的效果，即多次的决，以使整个过程取得最优的效果，即多次的决策策最终要构成一个总的最优控制策略最终要构成一个总的最优控制策略( (最优控制方案最优控制方案) )。说明：说明：1 1）全部）全部“决策决策”总体，成为总体，成为“策略策略”。 2 2）在多级决策过程中，每一级的输出状态都仅与该级的）在多级决策过程中，每一级的输出状态都仅与该级的“决策决策”及该级的输入状态有关，而与其前面各级的及该级的输入状态有关，而与其前面各级的“决策决策”及状态的转移规及状态的转移规律无关。这种特有性质，称为律无关。这种特有性质，称为无后效性无后效性。 第第4章章 动态规划动态规划 4.1 多级决策问题多级决策问题4.1.1 4.1.1 最短路线问题最短路线问题解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个 可能的行车线路共有：可能的行车线路共有：2*2*2=8 2*2*2=8 （每阶段有两种可能）（每阶段有两种可能） 缺点：计算量大，容易出错。缺点：计算量大，容易出错。需确定一条最优的汽车行驶路线，使从需确定一条最优的汽车行驶路线，使从S S站到站到F F站的行车时间为最短。站的行车时间为最短。第第4章章 动态规划动态规划 4.1 多级决策问题多级决策问题解法二：动态规划法，是一种逆序计算法，从终点开始，按时间最短为目解法二：动态规划法，是一种逆序计算法，从终点开始，按时间最短为目标，标，逐段向前逆推逐段向前逆推，依次计算出各站至终点站的时间最优值，据此决策出，依次计算出各站至终点站的时间最优值，据此决策出每一站的最优路线。每一站的最优路线。4 43 34 45 510108 81313第4章 动态规划 4.1 多级决策问题特点：特点：1 1）将一个多阶段决策问题）将一个多阶段决策问题化为多个单阶段决策问题化为多个单阶段决策问题，易于分析，易于分析 2 2）每阶段评估）每阶段评估只与前一阶段结果只与前一阶段结果有关，计算量减小有关，计算量减小具体解法：具体解法：P132P1322.最优性原理 不论初始状态和初始决策如何，当把其中的任何一级和状态再作为初始级和初始状态时，其余的决策对此必定也是一个最优决策。 表明： 若有一个初态x(0)的N级决策过程，其最优决策为u(0),u(1),u(N-1),那么，对于以x(1)为初态的N-1级决策过程来说，决策集合u(1),u(2),u(N-1)必定是最优策略。第第4章章 动态规划动态规划 4.1多级决策问题多级决策问题3 3、离散系统动态规划的基本递推方程、离散系统动态规划的基本递推方程离散控制系统最优控制问题的提法离散控制系统最优控制问题的提法：（问题：（问题4 41 1） 离散控制系统的状态方程为离散控制系统的状态方程为 给定端点约束条件为给定端点约束条件为 寻求最优控制序列寻求最优控制序列 使系统从起点转移终端时，目标函数取极小值使系统从起点转移终端时，目标函数取极小值第第4章章 动态规划动态规划 4.1 多级决策问题多级决策问题相对独立相对独立动态规划基本方程或贝尔曼泛函方程动态规划基本方程或贝尔曼泛函方程第第4章章 动态规划动态规划 4.1 多级决策问题多级决策问题同理，不断向终点递推，可得同理，不断向终点递推，可得结合（结合（5 5），从（），从（4 4）出发逆推到（）出发逆推到（1 1），可得出最优控制序列），可得出最优控制序列基本的递推方程基本的递推方程第第4章章 动态规划动态规划 4.1 多级决策问题多级决策问题例例: :设一阶离散控制系统设一阶离散控制系统 试确定最优控制序列试确定最优控制序列u(0),u(1),u(2),u(0),u(1),u(2),使如下性能指标达最小。使如下性能指标达最小。 解：从最后一级相前递推（解：从最后一级相前递推（N=3)N=3)： 为使为使 达到最小，则有：达到最小，则有：第第4章章 动态规划动态规划 4.1 多级决策问题多级决策问题最后，从前往后推，可得出最优控制序列最后，从前往后推，可得出最优控制序列: :u u* *(0)=-3/2,u(0)=-3/2,u* *(1)=-1/2,u(1)=-1/2,u* *(2)=0 (2)=0 关于动态规划本质的讨论关于动态规划本质的讨论：q 一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如何，如把现在的状态看作后续状态的初态，则何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一其后诸决策仍必须构成一最优策略。最优策略。q 动态规划的最优性原理得以成立的前提条件是所谓动态规划的最优性原理得以成立的前提条件是所谓“无后效性无后效性”。即。即上一状态和上一决策对后续过程的影响，仅表现在它们把状态转移到了上一状态和上一决策对后续过程的影响，仅表现在它们把状态转移到了当前状态，至于后续过程如何，他们就不再起作用了。当前状态，至于后续过程如何，他们就不再起作用了。q 动态规划的解题顺序，动态规划的解题顺序，与事物发展进程相反与事物发展进程相反。第第4章章 动态规划动态规划 4.2离散动态规划离散动态规划 给定端点约束条件为给定端点约束条件为 寻求最优控制序列寻求最优控制序列 使系统从起点转移终端时，目标函数取极小值使系统从起点转移终端时，目标函数取极小值离散控制系统最优控制问题的提法离散控制系统最优控制问题的提法：（问题：（问题4 42 2） 离散控制系统的状态方程为离散控制系统的状态方程为 求解过程与上节相同：例求解过程与上节相同：例4-14-1第第4章章 动态规划动态规划 4.3连续控制系统的动态规划连续控制系统的动态规划控制问题的提法控制问题的提法: :（问题（问题4 43 3） 设受控系统状态方程为设受控系统状态方程为 给定端点约束条件为给定端点约束条件为 寻求寻求m m维有界闭集中的最优控制维有界闭集中的最优控制u u* *( (t t) )，即即 使系统从已知初始状态使系统从已知初始状态 转移到目标集中某一状态转移到目标集中某一状态 时，如时，如下目标泛函取极小值，下目标泛函取极小值，第第4章章 动态规划动态规划 4.3连续控制系统的动态规划连续控制系统的动态规划由动态规划最优性原理：由动态规划最优性原理：第第4章章 动态规划动态规划 4.3连续控制系统的动态规划连续控制系统的动态规划 对任意给定初态对任意给定初态 时，式（时，式（4-214-21）可改写为：）可改写为： 哈密尔顿哈密尔顿雅可比雅可比贝尔曼方程贝尔曼方程 定义：定义： 可视为影响函数，表示可视为影响函数，表示 的变分施加于的变分施加于 的影响程度。的影响程度。第第4章章 动态规划动态规划 4.3连续控制系统的动态规划连续控制系统的动态规划 哈密尔顿哈密尔顿雅可比雅可比贝尔曼方程贝尔曼方程 表明：在最优轨线上，最优控制函数必使表明：在最优轨线上，最优控制函数必使H H达整体最小，达整体最小，这是最小值原理这是最小值原理的另一种表述形式。的另一种表述形式。连续动态规划的基本方程、最优解的求解步骤：连续动态规划的基本方程、最优解的求解步骤：P148-150 第第4章章 动态规划动态规划 4.4 动态规划与变分法、最小值原理的关系动态规划与变分法、最小值原理的关系1.1.动态规划与变分法动态规划与变分法 由哈密尔顿由哈密尔顿雅可比雅可比贝尔曼方程可推倒出欧拉方程贝尔曼方程可推倒出欧拉方程结论：结论：q 动态规划与变分法和极小值原理在数学上是等效关系动态规划与变分法和极小值原理在数学上是等效关系q 应用范畴有所不同：对某些最优性能指标的可微性条件不能满应用范畴有所不同：对某些最优性能指标的可微性条件不能满足的最优控制问题，未必能写出哈密尔顿足的最优控制问题，未必能写出哈密尔顿雅可比雅可比贝尔曼方程。贝尔曼方程。2.2.动态规划与极小值原理动态规划与极小值原理 由哈密尔顿由哈密尔顿雅可比雅可比贝尔曼方程，本身就是极小值原理的极值贝尔曼方程，本身就是极小值原理的极值条件，通过它还可推倒极小值原理的协态方程和横截条件。区别在于：条件，通过它还可推倒极小值原理的协态方程和横截条件。区别在于：第第5章章 线性最优状态调节器线性最优状态调节器 5.1 线性二次型问题线性二次型问题线性二次型问题的特点线性二次型问题的特点 （1 1）最优解可写成统一的解析表达式，实现求解过程规范化最优解可写成统一的解析表达式，实现求解过程规范化 （2 2）可以兼顾系统的性能指标（快速性、准确性、稳定性、灵敏度）可以兼顾系统的性能指标（快速性、准确性、稳定性、灵敏度）线性二次型问题：系统为线性系统，性能指标为状态变量与控制变量的二线性二次型问题：系统为线性系统，性能指标为状态变量与控制变量的二次型函数，这类系统的最优控制问题。次型函数，这类系统的最优控制问题。主要内容：最优状态调节、最优输出调节和最优跟踪，其中，最优输出调主要内容：最优状态调节、最优输出调节和最优跟踪，其中，最优输出调节问题和最优跟踪问题可以化为最优状态调节问题。节问题和最优跟踪问题可以化为最优状态调节问题。第第5章章 线性最优状态调节器线性最优状态调节器 5.1 线性二次型问题线性二次型问题线性二次性问题的提法：线性二次性问题的提法： 设线性时变系统的状态方程为设线性时变系统的状态方程为 假设控制向量假设控制向量 不受约束不受约束 ，用，用 表示期望输出，则误差向量为表示期望输出，则误差向量为正定二次型正定二次型 半正定二次型半正定二次型实对称阵实对称阵A A为为正定（半正定）正定（半正定）的充要条件是全部特征值的充要条件是全部特征值00（=0=0) )。 求最优控制求最优控制 ，使下列二次型性能指标最小。，使下列二次型性能指标最小。第第5章章 线性最优状态调节器线性最优状态调节器 5.1 线性二次型问题线性二次型问题性能指标的物理含义性能指标的物理含义：（：（P163P163）加权矩阵的意义：加权矩阵的意义： （1 1）F,Q,RF,Q,R是衡量误差分量和控制分量的加权矩阵，可根据各分量是衡量误差分量和控制分量的加权矩阵，可根据各分量的重要性灵活选取。的重要性灵活选取。 （2 2）采用时变矩阵）采用时变矩阵Q(t),R(t)Q(t),R(t)更能适应各种特殊情况。更能适应各种特殊情况。 例如：例如： Q(t)Q(t)可开始取值小，而后取值大可开始取值小，而后取值大第第5章章 线性最优状态调节器线性最优状态调节器 5.1 线性二次型问题线性二次型问题线性二次型问题的本质：线性二次型问题的本质：用不大的控制，来保持较小的误差，以达到能量和误差综合最优的目的。用不大的控制，来保持较小的误差，以达到能量和误差综合最优的目的。 线性二次型问题的三种重要情形：线性二次型问题的三种重要情形： 第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题 设线性时变系统的状态方程为设线性时变系统的状态方程为 假设控制向量假设控制向量 不受约束不受约束 ，求最优控制，求最优控制 ，使系统的二次型，使系统的二次型性能指标取极小值。性能指标取极小值。5.2.1 5.2.1 有限时间状态调节器问题有限时间状态调节器问题物理意义物理意义：以较小的控制能量为代价，使状态保持在零值附近。：以较小的控制能量为代价，使状态保持在零值附近。 状态调节器问题，就是要求系统的状态保持在平衡状态附件。状态调节器问题，就是要求系统的状态保持在平衡状态附件。分两种情况分两种情况讨论：讨论： 第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题1 1、最优解的充分必要条件、最优解的充分必要条件定理定理5-1: 5-1: 最优控制的充分必要条件最优控制的充分必要条件最优性能指标：最优性能指标：对称非负矩阵对称非负矩阵P P满足黎卡提矩阵微分方程：满足黎卡提矩阵微分方程：边界条件：边界条件：2 2、黎卡提方程黎卡提方程解的若干性质：解的若干性质：P168P1683 3、最优控制解的存在性与唯一性：、最优控制解的存在性与唯一性：定理定理5-25-2第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题（1 1）根据系统要求和工程实际经验，选取加权矩阵）根据系统要求和工程实际经验，选取加权矩阵F,Q,RF,Q,R状态调节器的设计步骤状态调节器的设计步骤（2 2）求解黎卡提微分方程，求得矩阵）求解黎卡提微分方程，求得矩阵P(t)P(t)（3 3）求反馈增益矩阵）求反馈增益矩阵K(t)K(t)及最优控制及最优控制u u* *(t)(t)（4 4）求解最优轨线）求解最优轨线x x* *(t)(t)（5 5）计算性能指标最优值）计算性能指标最优值第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题例例5-25-2已知一阶系统的微分方程为已知一阶系统的微分方程为求使性能指标为极小值时的最优控制。求使性能指标为极小值时的最优控制。解：解：二次型性能指标为：二次型性能指标为：其中其中p(t)p(t)为黎卡提方程的解为黎卡提方程的解最优轨为如下时变一阶微分方程的解最优轨为如下时变一阶微分方程的解( (可得出解析解）可得出解析解）第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题1.1.无限时间时变状态调节器无限时间时变状态调节器 设线性时变系统的状态方程为设线性时变系统的状态方程为 假设控制向量假设控制向量 不受约束不受约束 ，求最优控制，求最优控制 ，使系统的二次型，使系统的二次型性能指标取极小值。性能指标取极小值。5.2.1 5.2.1 无限时间状态调节器问题无限时间状态调节器问题定理定理5 53 3：说明：（说明：（P175)P175)1 1）要求）要求系统完全能控系统完全能控。2 2）F=0F=0, ,人们所关心的总是系统在有限时间内的响应人们所关心的总是系统在有限时间内的响应3)3)最优控制律是时变的。最优控制律是时变的。第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题 假设控制向量假设控制向量 不受约束不受约束 ，求最优控制，求最优控制 ，使系统的二次型，使系统的二次型性能指标取极小值。性能指标取极小值。2.2.无限时间定常状态调节器无限时间定常状态调节器 设线性定常系统的状态方程为设线性定常系统的状态方程为 此类问题求解用以下定理：此类问题求解用以下定理：定理定理5-4:5-4:定理定理5-55-5： 第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题例例5-55-5已知二阶系统的状态方程为已知二阶系统的状态方程为求使性能指标为极小值时的最优控制。求使性能指标为极小值时的最优控制。解：化为标准矩阵形式解：化为标准矩阵形式二次型性能指标为：二次型性能指标为：验证系统能控性验证系统能控性第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题展开整理得到三个代数方程展开整理得到三个代数方程 P P满足下列黎卡提矩阵代数方程：满足下列黎卡提矩阵代数方程：系统完全能控，且系统完全能控，且Q,RQ,R为正定对称矩阵，故最优控制存在且唯一为正定对称矩阵，故最优控制存在且唯一解之解之利用矩阵利用矩阵P P正定的性质正定的性质第第5章章 线性最优状态调节器线性最优状态调节器 5.2 状态调节器问题状态调节器问题与给定条件与给定条件 矛盾，故假设矛盾，故假设 不成立不成立 下面用反证法证明下面用反证法证明 不是所求的根不是所求的根最优控制为：最优控制为：利用矩阵利用矩阵P P正定的性质正定的性质第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.1 输出调节器输出调节器6.1.1 6.1.1 有限时间输出调节器问题有限时间输出调节器问题 设线性时变系统的状态方程为设线性时变系统的状态方程为 假设控制向量假设控制向量 不受约束不受约束 ，求最优控制求最优控制 ，使下列二次型性能，使下列二次型性能指标最小。指标最小。 物理意义物理意义：以较小的控制能量为代价，使输出保持在零值附近。：以较小的控制能量为代价，使输出保持在零值附近。根据系统能观条件，输出调节器问题可根据系统能观条件，输出调节器问题可转化为状态调节器问题转化为状态调节器问题 第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.1 输出调节器输出调节器 将（将（6-26-2）代入（）代入（6-36-3） 若若 是半正定的，则转化为状态调节器问题。（定理是半正定的，则转化为状态调节器问题。（定理6-16-1）最优控）最优控制为：制为：可以证明，如果可以证明，如果系统完全可观测系统完全可观测，则，则 是是半正定半正定的。的。第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.1 输出调节器输出调节器 有限时间最优输出调节器系统结构图。有限时间最优输出调节器系统结构图。说明：说明：（1 1）仍然是）仍然是状态反馈状态反馈，而不是输出反馈，说明构成最优控制系统需要，而不是输出反馈，说明构成最优控制系统需要全部信息全部信息。（2 2）从工程上讲，）从工程上讲，x(t)x(t)是通过是通过y(t)y(t)观测出来的，所以控制的先决条件观测出来的，所以控制的先决条件是，受控系统应是是，受控系统应是可观测可观测的。的。第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.1 输出调节器输出调节器6.1.2 6.1.2 无限时间输出调节器问题无限时间输出调节器问题 设线性定常系统的状态方程为设线性定常系统的状态方程为 假设控制向量假设控制向量 不受约束不受约束 ，求最优控制求最优控制 ，使下列二次型性能，使下列二次型性能指标最小。指标最小。 与无限时间状态调节器问题类似，最优控制（定理与无限时间状态调节器问题类似，最优控制（定理6 62 2）为：）为： 第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.1 输出调节器输出调节器例例6-36-3已知二阶系统的状态方程为已知二阶系统的状态方程为求使性能指标为极小值时的最优控制。求使性能指标为极小值时的最优控制。解：化为标准矩阵形式解：化为标准矩阵形式二次型性能指标为：二次型性能指标为：验证系统能控性验证系统能控性验证系统能观性验证系统能观性第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.1 输出调节器输出调节器展开整理得到三个代数方程展开整理得到三个代数方程 P P满足下列黎卡提矩阵代数方程：满足下列黎卡提矩阵代数方程：系统完全能控且完全能观，故最优控制为：系统完全能控且完全能观，故最优控制为：解之解之利用矩阵利用矩阵P P正定的性质正定的性质第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.1 输出调节器输出调节器闭环传递函数为：闭环传递函数为： 最优控制系统的结构图：最优控制系统的结构图：说明：加权系数说明：加权系数r r的取值，只影响闭环系统的增益，阻尼系数不变的取值，只影响闭环系统的增益，阻尼系数不变第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.3 跟踪系统跟踪系统设线性时变系统的状态方程为（系统完全可观测）设线性时变系统的状态方程为（系统完全可观测） 假设控制向量假设控制向量 不受约束不受约束 ，用用 表示期望输出，则误差向量为表示期望输出，则误差向量为 求最优控制求最优控制 ，使下列二次型性能指标最小。，使下列二次型性能指标最小。物理意义物理意义：以较小的控制能量为代价，使误差保持在零值附近。：以较小的控制能量为代价，使误差保持在零值附近。定理定理6-5:P2136-5:P2136.3.16.3.1有限时间线性时变跟踪系统有限时间线性时变跟踪系统第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.3 跟踪系统跟踪系统综上所述，跟踪问题的最优控制规律有如下特点：综上所述，跟踪问题的最优控制规律有如下特点：q q 最优跟踪系统最优跟踪系统反馈结构反馈结构与最优输出调节器反馈结构完全相同，与预期与最优输出调节器反馈结构完全相同，与预期输出无关。输出无关。 第第6章章 线性最优输出调节器与跟踪系统线性最优输出调节器与跟踪系统 6.3 跟踪系统跟踪系统q 最优跟踪系统与最优输出调节器系统的本质差异，反映在最优跟踪系统与最优输出调节器系统的本质差异，反映在 上。上。互为负的转置关系（互为负的转置关系（伴随矩阵伴随矩阵）q 由上式可知，为了求得由上式可知，为了求得 ，必须在控制过程开始之前知道，必须在控制过程开始之前知道全部全部 的信息。的信息。 与与 有关，则最优控制的现时值也要依赖于预期输有关，则最优控制的现时值也要依赖于预期输出出 的的全部全部未来值。未来值。