最优控制理论选用教材： xxx 编著 最优控制理论 科学出版社教学参考书：符曦编著 系统最优化及控制 机械工业出版社解学书 最优控制理论与应用 清华大学出版社第一章 绪 论第二章 数 学 准 备第三章 用变分法求解最优控制问题第四章 极小值原理及其应用第五章 线性二次型问题的最优控制第六章 动态规划法第一章 绪 论 1-1最优控制发展简史 最优控制是系统设计的一种方法。它所研究的中心问题是如何选择控制信号才 能保证控制系统的性能在某种意义下最优。一：最优控制的发展 第二次世界大战以后发展起来的自动调节原理，对设计与分析单输入单输出的线 性定常系统是有效的；然而近代航空及空间技术的发展对控制精度提出了很高的 耍求，并且被控制的对象是多输入多输出的，参数是时变的。面临这些新的情况 建立在传递函数基础上的自动调节原理就日益显出它的局限性来。这种局限性 首先表现在对于时变系统，传递函数根本无法定义，对多输入多输出系统从传递 函数概念得出的工程结论往往难于应用。由于工程技术的需要，以状态空间概念 为基础的最优控制理论渐渐发展起来。最优控制理论是现代控制理论的核心， 20世纪50年代发展起来的，已形成系统的理论。最优控制理论所要解决的问题是：按照控制对象的动态特性，选择一个容许控制 ，使得被控对象按照技术要求运转，同时使性能指标达到最优值。二：研究最优控制的方法从数学方面看，最优控制问题就是求解一类带有约束条件的泛函极值问题，因此 这是一个变分学的问题：然而变分理论只是解决容许控制属于开集的一类最优控 制问题，而在工程实践中还常遇到容许控制属于闭集的一类最优控制问题，这就 要求人们研究新方法。 在研究最优控制的方法中，有两种方法最富成效：一种是苏联学者庞特里雅金提 出的“极大值原理”；另一种是美国学者贝尔曼提出的“动态规划”。 极大值原理是庞特里雅金等人在1956至 1958年间逐步创立的，先是推测出极大 值原理的结论，随后又提供了一种证明 方法。 动态规划是贝尔曼在1953年至1958 年间逐步创立的，他依据最优性原 理发展了变分学中的哈密顿-雅可比 理论，构成了动态规划。由于电子计算机技术的发展，使得设计计算和实时控制有了实际可用的计算工具 ，为实际应用些更完善的数学方法提供了工程实现的物质条件，高速度、大容 量计算机的应用，一方面使控制理论的工程实现有了可能，另一方面又提出了许 多需要解决的理论课题，因此这门学科目前是正在发展的，极其活跃的科学领域 之一。 最优控制理论在一些大型的或复杂的控制系统设计中， 已经取得了富有成效的 实际应用。目前很多大学在自动控制理论课程中已经开始适当增加这方面的内容 ，而对于自动控制方面的研究生则普遍作为必修课程。 求解最优控制问题，可以采用解析法或数值计算法1-2 最优控制问题的实例 例11月球上的软着陆问题 飞船靠其发动机产生一与月球重力方向相反的推力 u(t)，以使飞船在月球表面实现软着陆，要寻求发动 机推力的最优控制规律，以便使燃料的消耗为最少。设飞船质量为m(t)，高度为h(t)，垂直速度为v(t)，发 动机推力为u(t)，月球表面的重力加速度为常数g。设 不带燃料的飞船质量为M， 初始燃料的总质量为F 初始高度为h0，初始的垂直速度为v0，那么飞船的运 动方程式可以表示为：初始条件 终端条件 性能指标是使燃料消耗为最小，即 约束条件达到最大值 我们的任务是寻求发动机推力的最优控制规律u(t),它应满足约束条件，使飞船由 初始状态转移到终端状态，并且使性能指标为极值(极大值)。 例12拦截问题在某一惯性坐标系内，设拦截器质心的位置矢量和速度矢量为：目标质心的位置矢量和速度矢量为：F(t)为拦截器的推力则拦截器与目标的相对运动方程为： 其中a(t)是除控制加速度外的固有相对加速度，是已知的。初始条件为：终端条件为： 从工程实际考虑，约束条件为 如果我们既要求拦截过程的时间尽量短，又要求燃料消耗尽量少，则可取性能指标： 为最小 综上所述，所谓最优防天拦截问题，即选择满足约束条件的控制F(t),驱使系统从初始 状态出发的解，在某个时刻满足终端条件，且使性能指标为极值（极小值）。1-3最优控制问题的提法 在叙述最优控制问题的提法之前，先讨论一些基本概念。 1：受控系统的数学模型一个集中参数的受控系统总可以用一组一阶微分方程来描述，即状态方程，其一 般形式为：是n维状态向量 为p维控制向量 为n维函数向量 2：目标集如果把状态视为n维欧氏空间中的一个点，在最优控制问题中，起始状态（初 态）通常是已知的，即而所达到的状态（末态）可以是状态空间中的一个点，或事先规定的范围内， 对末态的要求可以用末态约束条件来表示：满足末态约束的状态集合称为目标集，记为M，即：至于末态时刻，可以事先规定，也可以是未知的。 有时初态也没有完全给定，这时，初态集合可以类似地用初态约束来表示。 3：容许控制在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取 值，这种限制通常可以用如下不等式约束来表示：上述由控制约束所规定的点集称为控制域U，凡在t0-tf上有定义，且在控制域U 内取值的每一个控制函数u(t)均称为容许控制。4：性能指标通常情况下，最优控制问题的性能指标形如：其中第一项是接近目标集程度，即末态控制精度的度量，称为末值型性能指标。第二项称为积分型性能指标，它能反映控制过程偏差在某种意义下的平均或控制 过程的快速性，同时能反映燃料或能量的消耗。5：最优控制的提法已知受控系统的状态方程及给定的初态规定的目标集为M，求一容许控制u(t)U,t t0,tf,使系统从给定的初态出发，在 tf t0时刻转移到目标集M，并使性能指标 为最小。 这就是最优控制问题。如果问题有解，记为u*(t), t t0,tf,则u*(t)叫做最优控制（极值控制），相应的轨 线X*(t)称为最优轨线（极值轨线），而性能指标J*=J（u*()）则称为最优性能指标 。1-4最优控制的应用类型设计最优控制系统时，很重要的一个问题是选择性能指标，性能指标按其数学形 式可分为如下三类：1）积分型性能指标 这样的最优控制问题为拉格朗日问题。2）终值型性能指标这种性能指标只是对于系统在动态过程结束时的终端状态提出了要求，而对于整 个动态过程中系统的状态和控制的演变未作要求。这样的最优控制问题为迈耶尔 问题。3）复合型性能指标 这样的最优控制问题为波尔扎问题。 通过适当变换，拉格朗日问题和迈耶尔问题可以相互转换。按控制系统的用途不同，所选择的性能指标不同，常见的有：1：最小时间控制2：最小燃料消耗控制粗略地说，控制量u(t)与燃料消耗量成正比，最小燃料消耗问题的性能指标为： 3：最小能量控制设标量控制函数u2(t)与所消耗的功率成正比，则最小能量控制问题的性能指标为 ： 4：线性调节器给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即 这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。 线性调节器的性能指标为： 加权后的性能指标为： 对u(t)有约束的性能指标为： 式中Q和R都是正定加权矩阵。 一般形式，有限时间线性调节器性能指标： 无限时间线性调节器性能指标： P0，Q0，R0，均为对称加权矩阵。 5：线性跟踪器若要求状态X(t)跟踪或尽可能接近目标轨迹Xd(t),则这种系统称为状态跟踪器，其相 应的性能指标为：Q0，R0，均为对称加权矩阵。若要求系统输出y(t)跟踪或尽可能接近目标轨迹yd(t),则这种系统称为输出跟踪器， 其相应的性能指标为：Q0，R0，均为对称加权矩阵。除了上述几种应用类型外，根据具体工程实际的需要，还可以选取其他不同形 式的性能指标，在选取性能指标时需注意：1）应能反映对系统的主要技术条件要求2）便于对最优控制进行求解3）所导出的最优控制易于工程实现第二章 数 学 准 备 2-1函数极值问题一：多变量函数极值问题设二元函数f（x1,x2），在点（x1*,x2*）处有极值f（x1*,x2*）的必要条件为：f（x1*,x2*）取极小值的充分条件为：或 正定 其中上述结论可以推广到自变量多于两个的情形 设n 个变量的多元函数f（x1，x2，xn），若f（x）在x*处有极小值，其必 要条件为： 充分条件为：为正定矩阵。 二：有约束条件的函数极值问题 设二元函数f（x1,x2），x1和x2必须满足下列方程： g（x1,x2）0 为求函数f（x1,x2）的极值，并找出其极值点（x1*,x2*），作一辅助函 数拉格朗日函数： 式中为辅助变量，称为拉格朗日乘子。函数f（x1,x2）求极值问题，转变为无约束条件函数求极值问题（拉格朗日 乘子法），其存在极值的必要条件为 或同样，用拉格朗日乘子法可以求有约束条件的n元函数的极值。 设n元函数为f（x1，x2，xn），有m个约束方程 i1，2，m（nm）作拉格朗日函数：函数L有极值的必要条件为：2-2泛函极值问题 一.无条件约束的泛函极值问题设函数x（t）在 t0,tf 区间上连续可导 定义下列形式的积分J的值取决于函数x（t），称为泛函 1：始端时刻t0和终端时刻tf都给定时的泛函极值 设 函数x*(t)使J为极小 令： 式中是一个很小的参数，（t）是一个连续可导的任意函数 其取极小值的必要条件为： 上式为J(x)取极小值的必要条件J(x)为极大、极小，通常可根据系统的物理性质来判断。J(x)取极小值的充分条件J(x)取极值的必要条件为：欧拉方程横截条件由必要条件不同函数F的欧拉方程为：当t0和tf给定时，根据x(t0),x(tf)是固定的或自由的各种组合，可导出边界条件 （1）固定始端和固定终端x(t0)=x0, x(tf)=xf 故边界条件为： x(t0)=x0, x(tf)=xf X(t)X1(t)X2(t)X3(t)t0tft由横截条件(2)自由始端和自由终端 X(t)t0tft（3）自由始端和固定终端x(tf)=xf X(t)t0tft（4）固定始端和自由终端x(t0)=x0 X(t)t0tft极小值的充分条件：故J(x)取极小值的充分条件： 为正定 例1 设性能指标为： 边界条件为： x(1)=1,x(2)=2, 求J为极值时的x*(t) 解 由欧拉方程 根据边界条件，x(1)=1,x(2)=2 正半定，J(x)为极小值 2：未给定终端时刻的泛函极值问题 若始端时刻t0给定，始端状态x(t0)固定或沿规定的边界曲线移动；而终端时刻tf自由， 终端状态x(tf)自由或沿规定的曲线移动，这类最优控制问题称之为未给定终端时刻的 泛函极值问题。设系统性能指标: 式中t0是已知的，tf未给定，x(t0)给定或未给定 J取极值的必要条件为： 上式第二项分部积分于是有：得J(x)取极值得必要条件为 欧拉方程 横截条件 由横截条件可推出各种情况下的边界条件： 1）给定始端和自由终端 X(t0)t0tftX*(t)X(tf)tf*此时，x(t0)=x0,(t0)=0,(tf)和(tf)自由 可得边界条件与横截条件为： x(t0)=x0 由于最优轨线x*(t)的tf即是最优时刻tf*,上式可写为： 2）给定始端x(t0)=x0和终端有约束x(tf)=C(tf) X(t0)t0tftX*(t)X(t)tf*C(t)代入 上式对求偏导，并令0可得边界条件与横截条件为：（3）终端x(tf)固定，始端有约束x(t0)=(t0)X(tf)t0tftX*(t)X(t)tf*(t)边界条件与横截条件为：从以上讨论可以看出，不论边界情况如何，泛函极值都必须满足欧拉方程，只是 在求解欧拉方程时，对于不同边界情况，应采用不同的边界条件与横截条件。 tf固定x(t0)固定 x(tf)固定x(t0)自由 x(tf)固定tf固定x(t0)固定 x(tf)自由x(t0)自由 x(tf)自由tf自由x(t0)固定 x(t