,无约束问题的最优化方法,最 速 下 降 法,步长因子,搜索方向,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最速下降法,最速下降法,最速下降法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最速下降法收敛吗？ 若收敛，收敛速度是多少？,Questions,最速下降法,最速下降法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,缺点： 在极小点附近，出现锯齿现象，收敛较慢。,最 速 下 降 法,最 速 下 降 法,优点： 对初始点要求不高，可以比较快地达到极小点附近。,共 轭 方 向 法,共 轭 方 向 法,Remark,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,(*),共 轭 方 向 法,共 轭 方 向 法,Remark,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方向 法,共 轭 方向 法,共 轭 方 向 法,利用梯度产生共轭方向的共轭方向法，称为共轭梯度法，如何由梯度构造共轭方向呢？,Questions,共 轭 方 向 的 公 式 推 导,共轭方向的确定公式,F-R共轭梯 度法(Fletcher & Reeves 1964),非二次函数的共轭梯度法,牛顿法,牛顿法,牛顿法,牛顿法,牛顿法,修正牛顿法,修正牛顿法,牛顿法,优点： 具备二次终止性 应用于正定二次函数时，只需一次迭代 即可达到无约束全局极小点，表明 Newton法具备二次终止性。 收敛速度快 当初始点接近于极小点时， Newton法 很有效，产生的点列收敛于平稳点， 且收敛速度是2阶。,牛顿法,缺点： 进行Hesse矩阵、 矩阵求逆的运算。 当初始点离极小点较远时，Hesse矩阵 常常是奇异的，Newton方向不存在。,拟牛顿法,基本思想 (Davidon-1959),拟牛顿法,DFP变尺度法,计算步骤,解：,BFGS变尺度法 （Broyden Fletcher Goldfarb Shanno）1970,DFP变尺度法 和BFGS变尺度法的比较,BFGS变尺度法 具有DFP变尺度法的所有优点； 数值稳定性要比DFP变尺度法。,被公认为目前最好的一种算法之一,无约束最优化算法比较,Powell 方法（1964） (方向加速法）,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,改进的Powell方法,Powell 方法的方向调整原理,Powell 方法的方向调整原理,搜索方向替换的判别准则,证明：,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,Questions,当函数为非二次函数时，判别准则是什么呢？,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,Example,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,