无约束极值问题无约束极值问题无约束极值问题无约束极值问题可简单表述为：无约束极值问题可简单表述为：min f(X)，X Rn（n维欧氏空间）维欧氏空间）X(k+1)=X(k)+ p(k) 且满足且满足 f X(k+1) f X(k)这样逐步迭代直至满足精度条件这样逐步迭代直至满足精度条件 f X(k+1) 1 (梯度绝对值梯度绝对值 1)无约束最优化方法无约束极值问题的求解方法通常称为无约束极值问题的求解方法通常称为无约束最优化方法无约束最优化方法 (unconstrained optimization method)如何选择搜索方向如何选择搜索方向是无约束最优化方法的核心，且不同的是无约束最优化方法的核心，且不同的搜索方向形成不同的最优化方法。搜索方向形成不同的最优化方法。无约束极值的求解方法包括：无约束极值的求解方法包括：最速下降法最速下降法 牛顿法牛顿法共轭梯度法共轭梯度法变尺度法变尺度法 最速下降法回顾最速下降法回顾对于无约束最优化问题：对于无约束最优化问题：min f (X), X = (x1 , x2 , , xn)T假设已经迭代了假设已经迭代了k k次，第次，第k k次迭代点为次迭代点为且且最速下降法回顾最速下降法回顾1、确定搜索方向，选取最快的下降方向确定搜索方向，选取最快的下降方向2、确定步长确定步长 最速下降法回顾最速下降法回顾3、例子例子最速下降法回顾最速下降法回顾最速下降法回顾最速下降法回顾最速下降法存在的问题：最速下降法存在的问题： 最速下降法回顾最速下降法回顾牛顿法的基本思想 为了寻找收敛速度快收敛速度快的无约束最优化方法，我们考虑在每次迭代时，用适当的二次函数去近似目标函数用适当的二次函数去近似目标函数f，并用迭代点指向近似二次函数极小点的方向来构造搜索方向，然后精确地求出近似二次函数的极小点，以该极小点作为f的极小点近似值。牛顿法牛顿法牛顿法牛顿法假设目标函数f具有二阶连续偏导数，即 此时，可以利用Taylor展开式作f在点 处的近似函数： 牛顿法牛顿法牛顿法牛顿法例子：例子：以上例子说明，牛顿法比最速下降法收敛快。以上例子说明，牛顿法比最速下降法收敛快。牛顿法牛顿法牛顿法牛顿法牛顿法牛顿法共轭梯度法共轭梯度法最速下降法和牛顿法是最基本的无约束最优化方法，它们的特性各异：最速下降法计算较小而收敛速度慢；牛顿法虽然收敛速度快，但需要计算目标函数的Hesse矩阵及其逆矩阵，故计算量大。接下来将要介绍一类无需计算二阶导数并且收敛 速度快的方法共轭梯度法共轭梯度法。共轭梯度法共轭梯度法1、共轭方向法、共轭方向法共轭梯度法共轭梯度法共轭梯度法共轭梯度法共轭梯度法共轭梯度法通常，我们把从初始点出发，依次沿某组共轭方向进行一维搜索来求解无约束最优化问题的方法，称为共轭方向法共轭方向法2、共轭梯度法、共轭梯度法共轭梯度法共轭梯度法在共轭方向法中，如果取初始的搜索方向而以下各共轭方向 由k次迭代点的负梯度与已经得到的共轭方向 的线性组合线性组合来确定，这样就构成了一种具体的共轭方向法。因为每一个共轭方向都依赖于迭代点的负梯度，所以称之为共轭梯度法共轭梯度法。共轭梯度法共轭梯度法现针对正定二次函数最优化问题，给出共轭梯度法的推导现针对正定二次函数最优化问题，给出共轭梯度法的推导