资源预览内容
第1页 / 共201页
第2页 / 共201页
第3页 / 共201页
第4页 / 共201页
第5页 / 共201页
第6页 / 共201页
第7页 / 共201页
第8页 / 共201页
第9页 / 共201页
第10页 / 共201页
亲,该文档总共201页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
,无约束问题的最优化方法,最 速 下 降 法,步长因子,搜索方向,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最速下降法,最速下降法,最速下降法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最速下降法收敛吗? 若收敛,收敛速度是多少?,Questions,最速下降法,最速下降法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,最 速 下 降 法,缺点: 在极小点附近,出现锯齿现象,收敛较慢。,最 速 下 降 法,最 速 下 降 法,优点: 对初始点要求不高,可以比较快地达到极小点附近。,共 轭 方 向 法,共 轭 方 向 法,Remark,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,(*),共 轭 方 向 法,共 轭 方 向 法,Remark,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方 向 法,共 轭 方向 法,共 轭 方向 法,共 轭 方 向 法,利用梯度产生共轭方向的共轭方向法,称为共轭梯度法,如何由梯度构造共轭方向呢?,Questions,共 轭 方 向 的 公 式 推 导,共轭方向的确定公式,F-R共轭梯 度法(Fletcher & Reeves 1964),非二次函数的共轭梯度法,牛顿法,牛顿法,牛顿法,牛顿法,牛顿法,修正牛顿法,修正牛顿法,牛顿法,优点: 具备二次终止性 应用于正定二次函数时,只需一次迭代 即可达到无约束全局极小点,表明 Newton法具备二次终止性。 收敛速度快 当初始点接近于极小点时, Newton法 很有效,产生的点列收敛于平稳点, 且收敛速度是2阶。,牛顿法,缺点: 进行Hesse矩阵、 矩阵求逆的运算。 当初始点离极小点较远时,Hesse矩阵 常常是奇异的,Newton方向不存在。,拟牛顿法,基本思想 (Davidon-1959),拟牛顿法,DFP变尺度法,计算步骤,解:,BFGS变尺度法 (Broyden Fletcher Goldfarb Shanno)1970,DFP变尺度法 和BFGS变尺度法的比较,BFGS变尺度法 具有DFP变尺度法的所有优点; 数值稳定性要比DFP变尺度法。,被公认为目前最好的一种算法之一,无约束最优化算法比较,Powell 方法(1964) (方向加速法),Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,改进的Powell方法,Powell 方法的方向调整原理,Powell 方法的方向调整原理,搜索方向替换的判别准则,证明:,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,Questions,当函数为非二次函数时,判别准则是什么呢?,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,Example,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号