二章节变分法及其在最优控制中应用Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望如果有一类函数,对每一个函数都有一个值与之对应，则J称为函数的泛函数，简称泛函。记做，泛函数实际为函数的函数。即：泛函的值是函数的选取而定，函数的值是由自变量的选取而定。 变分法的基本概念变分法的基本概念211泛函的概念1、泛函的定义：特点：函数给定后，泛函J相对于一个确定的值，如：不是泛函，因为给定时，并不等于某个固定值，而是的函数。泛函数的定义可推广到含有几个函数的情况， 如：最优控制常用指标：是泛函，是的函数，是的函数。在泛函中，称为泛函的宗量例如：例如：是泛函数的值由的选取而定 若 则若 则泛函极值是一个相对概念，实际为相对于的一个微小变化，变化形式有上述两种:2、泛函的极值的定义：若泛函在任何一条与曲线接近的曲线上的值均不小于，即：，则称泛函在曲线上达到极小值。（1）即与相差的绝对值，对定义域中的一切均很小，则称 与接近零阶接近度，由此推出的为弱相对极小。（2）则称与相差微小或接近一阶接近度，为强相对极小。具有一阶接近度必然具有零阶接近度。3、 泛函的变分的定义：泛函的变分的定义：求泛函的极值问题称为变分。中，称为泛函的宗量（泛函的变量）。宗量的变分：宗量的变分：若若 相应的最优函数为相应的最优函数为 ， 则则 可表示为：可表示为： ：称为：称为y(x)的变分，的变分， 也为独立自变量也为独立自变量x的函数。的函数。 ：AB间的距离函数BA(1) 泛函变分 可定义为：设其中 ， 均为 的函数 例如：例如： 最短距离问题最短距离问题A、B间的距离间的距离 如图：如图： ：AB间的弧长函数泛函的变分可通过增量形式求取：泛函增量为：式中：是的线性连续泛函是关于的高阶无穷小定义定义 ：即泛函即泛函 的变分为其相应增量的变分为其相应增量 的的线性函数，且称泛函线性函数，且称泛函 是可微的是可微的 注意：注意： 泛函泛函 的变分是唯一的。的变分是唯一的。即：=则可以证明：=例：求泛函的变分解： =为的线性主部，因此有：当：时当：时(1,1)(1,0.2)(1,0.1) 如果泛函如果泛函 是可微的，则泛函的变分为：是可微的，则泛函的变分为： 证明从略，见P页证明进一步，多元函数的变分为：即：变量则（定理1引出结论）若证明见书。则有： ：若可微泛函：若可微泛函 在在 上达到极值，上达到极值，则在则在 上的变分等于上的变分等于0，即，即 证明较简单，见书。证明较简单，见书。变分规则：泛函的极值的必要条件欧拉方程（以单变量为例，可推广）已知。终端状态满足：目标函数：问题：求，使被控过程状态由转移到，并使目标函数最小。. 无约束条件的最优化问题无约束条件的最优化问题目的：求出最优控制，使为最小。方法：变分法设被控过程状态方程为：解：把式化为u的显函数形式，即 代入式，则有：事实上求解，就化为求，使设为容许轨线，为最优轨线，即邻域中的一条容许轨线则有：.将，式代入式，并将 在最优点 附近展开成泰勒级数，则有：=为和的高阶无穷小。的增量为：由变分的定义可知：的变分 为：泛函取极值的必要条件:即：式就变为：若 独立，可任意取值，若使 ，必有：欧拉方程横截条件2欧拉方程的全导数形式基础知识：设函数则：在式中， 为全导数令=其中：所以式的全导数欧拉方程形式为：欧拉方程的全导数形式横截条件，又称为边界条件3横截条件的分析,都固定，图a即即固定, 自由图b即因为自由所以终端仅在上滑动求出最优许多状态轨线自由，固定，图c则横截条件变为：终端仅在上滑动端点变动的情况：（3.2.2）1自由端点，无约束条件的变分，如图:始点 在曲线 上变动终点 在曲线 上变动)(tx两个端点都是自由的设泛函为使 的求取 的必要条件：当函数由时，则:=注：=+ = .)(tx对函数在 处进行泰勒展开，则：积分中值定理acb所以利用分步积分由图示：由于是的微小变化所以有下列关系：及：见前面图示)(tx2.端点变动时的泛函极值对于起始端点的变化，因为满足则有：同理：代入可得：由泛函取极值的必要条件：则有：欧拉方程：横截条件：横截条件的分析：1）若两个端点均为自由，横截条件为.3）始点自由，终端固定，则有：4）如果两个端点分别在直线及上变化，则有：因为同于前面欧拉方程以及横截条件的分析2)若始端点固定端点自由，则有：例例1：求固定点A（0，1）到给定直线的弧长最短的曲线方程解：弧长公式A到直线为：2A012t所以属于始端固定，终端自由的情况根据欧拉方程：经积分所以，则由终端条件：则：解得：所以可以证明,与正交,且-横截条件3.2.2目标泛函取极值的充分条件自学欧拉方程是求解泛函极值的必要条件,而非充分条件,J取极大值还是极小值,还需进一步加以判断.结论:取极小值，阵为正定或半正定取极大值，阵为负定或半负定3.2.3欧拉方程和横截条件的向量形式（自学）欧拉方程和横截条件的向量形式（自学）目标函数Jx=标量函数标量函数已知，已知，未定，受终端目标集约束上述单变量系统的情况可推广到状态变量为向量的情况求：，使最小采用和单变量系统相同的分析方法，可得出结论：欧拉方程横截条件具体问题具体分析横截条件具有等式约束条件的最优化问题具有等式约束条件的最优化问题古典变分法在最优控制中的应用解决的问题：等式约束（如状态方程）下，指标泛函取极值的最优化问题欧拉方程的局限性：J中的u必须首先由状态方程化为x以及的显函数，有时处理比较困难.解决办法：拉格朗日乘子法对于受控系统，由初始状态出发，转移到末端状态，求容许控制，使得目标函数最小二处理方法1)将状态方程改写为：等式约束一问题的提出2)引入待定的拉格朗日乘子 ，将等式约束与原性能指标结 合成一个新的泛函可以证明与相对于最优控制等价3)问题归结为求泛函的无约束极值令H：标量函数函数则，以下可根据不同的初，末状态，确定求解最优控制的必要条件。三三 数学补充：多变量函数的微分运算数学补充：多变量函数的微分运算在求解最优控制时，常遇到许多微分运算问题：在求解最优控制时，常遇到许多微分运算问题：如如:时变向量或矩阵对时间求导时变向量或矩阵对时间求导 多变量标量函数对向量或矩阵求导多变量标量函数对向量或矩阵求导 多变量向量函数对向量或矩阵求导多变量向量函数对向量或矩阵求导1.时变向量或矩阵对时间求导设为n维时变向量，即:则：设为时变矩阵则：设计,为时变矩阵设 为时变标量， 为时变向量，则：2.标量函数对向量求导设为n个变量的函数，为标量函数定义：对x的导数为称为函数的梯度 例例其结果常用到：例1：例例2： 对角阵-n1-n1同理：若Q不为对称阵，即：则：例3：设及均为n维列向量，即：,且为常向量则：标量函数-1n例例4：设及均为n维列向量，Q为定常矩阵则：为标量函数所以有：其中：即为n个向量的标量函数定义偏导数矩阵为：雅可比矩阵同理可得：3.向量函数对向量求导设向量函数四四 求求解解最最优优控控制制的的必必要要条条件件：根根据据不不同同的的初初，终终端端条条件件进进行行讨讨论论 1.无终端约束问题同于，始端状态固定终端状态自由（终端无约束），但固定则：变分 为：令 =0，则得出的求解最优控制的必要条件为：状态方程协状态方程( 协状态变量) 规范方程控制方程边界条件(横截条件)其中：例题分析：例题分析：已知受控系统微分方程已知受控系统微分方程：求最优控制使目标函数（泛函）取极小值边界条件：解：将系统微分方程化为状态方程：令则有：哈蜜顿函数：协状态方程：由控制方程：即由系统状态方程所以由边界条件：代入求解得：因此，最优轨线以及最优控制为：例3-8设给定目标函数：求在泛函约束条件和边界条件下的极值曲线解：根据拉格朗日乘子法，构造新的目标函数为：化为无约束条件的泛函极值问题是的函数由欧拉方程：即对式求导：代入得：积分：代入边界条件得：所以解式：由式代入边界条件所以为极值曲线固定，末端受约束： gx(),=0即: g= 在构造增广泛函时，应考虑这一因素约束，引入拉格朗日乘子向量u.,于是 对x和u分别取变分，则有：m维，mn令 =0，求取最优控制必要条件为：1 2 3 =f（x，u，t）4 2n个未知数，2n个方程2n个边界条件两点边值问题注： （3）末端时刻自由时的最优解自由：末端固定、末端自由、末端受约束（讨论：结果可以方便地推广到上述两种情况）例：敌机按预定诡计c（t）飞行，我防空导弹从时刻发射追击敌机，末端时刻是无法规定的，但要求x()=c()以保证击落敌机.构成增广泛函:当末端状态由（ ）转移到（）时，对上式利用分步积分及积分中值定理：求取最优控制的必要条件为：代入上式2n个方程（2n+m+1)个未知数2n+m+1个已知条件若末端状态自由，则：末端状态固定，则:正则方程控制方程对于受控系统，复合型性能指标函数：末端状态受约束：为使成为最优控制和最优状态轨线，必存在适当的向量函数，使得：规范方程（4）边界条件：（5）哈密顿函数在最优轨线末端应有：例1：试求使受控系统由初态出发，当时，转移 到目标集且使性能指标为最小的最优控制及相应最优轨线解：终端约束条件为：根据定理可得：规范方程边界条件：控制方程：解得：例2：已知一阶受控系统：求最优控制使系统由X(0)=1转移到未定,且使性能指标：为最小解：2个独立方程2个边界条件联立求解：若令则：若系统为最优控制，则原有：若H不显含t,则：连续控制系统最优化问题的数值计算方法:参数最优化方法梯度法共轭梯度法变尺度法二阶变分法梯度法：是求解最优控制问题的一种有效方法。设问题为：终端自由，给定求解步骤：设定初始控制。凭经验给定，选取时应根据U(t)的物理意义选择合适的，选择合适可加快收敛。由及状态方程，由正向积分，计算并计算第一次迭代所得状态轨线。已知。由由反向积分，计算同时计算：第一次迭代所得伴随函数令泛出梯度：(:第一次迭代所取的控制量)进行下一步迭代：，最优步长参数，取固定或由一维搜索法确定以代替重复上述步骤迭代公式：k=0,1,2,3判定收敛性： 为允许误差：时收敛，计算结束.J没有太大变化，几乎不变缺失：仅考虑一阶梯度，收敛慢，但方法简单共轭梯度法较好，尤其对二次型性能指标问题。其他方法自学习题：用两种方法计算书中P461页习题上机本章小结：1、变分法是求解无约束最优控制问题的最有力工具，是基础。2、哈密顿函数法求的原理：若为最优控制，则也是H的极值函数。3、若L及f不显函t，即H不显函t，则H沿最优控制常数若自由，且和g中不显含则04、古典变分法只适用于对控制量U没有约束的情况。问题的复杂性在于求解两点边值问题的一组微分方程，需要计算机反复求解。第二章 极小值原理及应用经典变分法缺陷：1、应用前提：a、控制量u(t)的取值不受任何限制，没有任何不等式约束。b、f、L、 等函数对其自变量有充分可微性。2、实际控制要求：a、控制量u受不等式约束，如：，i=1,2,3b、性能指标有时并不完全可微如：燃料最优控制：若采用经典变分：若采用经典变分法：不再适用，求不出解来实际应为极小值原理若在容许控制范围内，J或H有极值且唯一，用极小值原理与经典变分法，所得结论一致。一、极小值原理：时变系统时变受控系统，其中控制向量，为容许控制域，U(t)是在 内取值的任何分段连续函数，为使状态向量由初始转移到末端，满足约束：，未定，并使性能指标达到极小值。 设和是如上J为最小的最优解，为最优状态轨为0的n维向量，满足:1、规范方程：2、边界条件：线，则必存在不3、与对应的哈密顿函数H取极小值。即:设为满足 状态方程和协状态方程的最优解。在中。把H仅看作U的函数，若J为最小，必要条使得仅看作U的函数时也取最小值。极小值原理的证明：应用数学基础较多，有些书中用很大篇幅进行二、极小值原理的意义：1、容许控制条件放宽变分法：在整个控制域，对U没有约束有时计算不易。极小值原理：H在U的约束闭集中取极小值。变分法仅为极小值原理的一个特例。件为证明，省略。且即使U不受限制，2、最优控制使哈密顿函数H取极小值，极小值原理由此得名。这一原理是苏联学者“庞特里亚金”等人首先提出，而后加以证明得。在证明过程中： 与H得符号与这里所定义的相反。所以有的文献中也称为“极大值原理”。3、H对u没有可微要求，因此应用拓宽。4、极小值原来是求取最优控制的必要条件，非充分条件。即：满足极小值原理不一定J取极小值,需进一步判断。一般:对于实际系统有最优解有唯一解最优解三、几种边界条件得讨论：上面所讨论的是和已知。受约束， 自由的最一般情况。若和末端状态不同，只需改变极小值原理的边界条件即可。1）已知，边界条件为：2)给定，自由， 未给定，边界条件：确定3)已知，给定,末端受约束边界条件为:若自由:外加: