1,张凯 副教授,武汉科技大学 计算机学院,人工神经网络(Artifical Neural Network),2,第四章 函数、导数、最值,1. 导数和方向导数,2. 导数的几何意义,3. 函数的最值,4. 梯度下降法,3,导数的概念,函数f (x)在x=x0处的瞬时变化率为：,我们称它为函数f (x)在x=x0处的导数,记作：,4,导数的概念,比如, y = f (x),如图,6,方向导数的概念,又比如, z = f (x, y), 偏导数,分别表示函数在点 (x0, y0)沿 x 轴方向,沿 y 轴方向的变化率.,7,方向导数的概念,如图,x,o,y,z,x0,(x0, y0),y,8,方向导数的概念,表示在 (x0, y0)处沿 y 轴正方向的变化率.,表示在 (x0, y0)处沿 y 轴负方向的变化率.,9,方向导数的概念,即 f x (x0, y0) 表示 y = y0 与 z = f (x, y)的交线在 M0处的切线对 x 的斜率.,把偏导数概念略加推广即可得到方向导数的概念.,10,方向导数的概念,即 f y (x0, y0) 表示 x = x0 与 z = f (x, y)的交线在 M0处的切线对 y 的斜率.,11,方向导数的概念,如图,12,方向导数的概念,若 z = f (X) = f (x, y)在 X0 = (x0, y0)处偏导存在.,则在 X0 处沿 x 轴正向的方向导数,13,方向导数的概念,在 X0 处沿 x 轴负方向的方向导数,同样可得沿 y 轴正向的方向导数为 f y (x0, y0), 而沿 y 轴负方向的方向导数为 f y (x0, y0).,14,导数的概念,设,求,例：,解：,导数的几何意义,如图,曲线C是函数y=f(x) 的图象,P(x0,y0)是曲线C上的 任意一点,Q(x0+x,y0+y) 为P邻近一点,PQ为C的割线, PM/x轴,QM/y轴,为PQ的 倾斜角.,斜率!,则,导数的几何意义,P,Q,割线,切线,T,请看当点Q沿着曲线逐渐向点P接近时,割线PQ绕着点P逐渐转动的情况.,导数的几何意义,设切线的倾斜角为,那么当x0时,割线PQ的斜率,称为曲线在点P处的切线的斜率.,提供了求曲线上某点切线的斜率的一种方法;切线斜率的本质函数在x=x0处的导数.,(3)当 t = t2 时, 曲线 h(t) 在 t2处的切线 l2 的斜率 h(t2) 0 .故在 t = t2 附近曲线下降,即函数 h(t) 在t = t2 附近也单调递减.,导数的几何意义,例,曲线h(t)在t0 , t1 , t2 附近的变化情况.,解:可用曲线 h(t) 在 t0 , t1 , t2 处的切线刻画曲线 h(t) 在上述三个时刻附近的变化情况.,(1)当 t = t0 时, 曲线 h(t) 在 t0 处的切线 l0 平行于 x 轴.故在 t = t0 附近曲线比较平坦, 几乎没有升降.,(2)当 t = t1 时, 曲线 h(t) 在 t1 处的切线 l1 的斜率 h(t1) 0 .故在t = t1 附近曲线下降,即函数 h(t) 在 t = t1 附近单调递减.,从图可以看出，直线 l1 的倾斜程度小于直线 l2 的倾斜程度，这说明 h(t) 曲线在 l1 附近比在 l2 附近下降得缓慢,f (x)0,f (x)0,设函数y=f(x) 在某个区间内可导，,函数单调性与导数关系,为增函数,为减函数,为常数,凹,凸,曲线的凹凸性,定理:设f (x)在a, b上连续，在(a, b)内具有一阶和二阶导数，那么,例1,解,所以曲线是凸的。,曲线的凹凸性,例2,解,曲线的凹凸性,拐点定义：,曲线的凹凸性,一般地，设 y = f (x) 在I上连续，x0 是 I 的内点，如果曲线 y = f (x) 在经过点(x0，f (x0) 时，曲线的凹凸性改变了，那么称点(x0，f (x0)为这曲线的拐点。,解,凹的,凸的,凹的,拐点,拐点,曲线的凹凸性,25,下图是导函数 的图象, 试找出函数 的极值点, 并指出哪些是极大值点, 哪些是极小值点.,函数的极值定义,设函数f (x)在点x0附近有定义，,如果对x0附近的所有点，都有f (x)f (x0),则f (x0) 是函数f (x)的一个极大值， 记作y 极大值= f (x0)；,如果对x0附近的所有点，都有f (x)f (x0),则f (x0) 是函数f (x)的一个极小值，记作y 极小值= f (x0)；,函数的极大值与极小值统称为极值,使函数取得极值的点x0称为极值点,用导数法求解函数极值的步骤,(1)求导函数f (x)； (2)求解方程f (x) = 0； (3)检查f (x)在方程f (x) = 0的根的左右的符号,并根据符号确定极大值与极小值.,口诀：左负右正为极小，左正右负为极大。,函数极值的判定,定理 如果函数f (x)在x0附近有连续的二阶导数f (x) ，f (x0) 0， f (x)0，那么 若f (x0)0，则函数f (x)在点x0处取得极大值 若f (x0)0，则函数f (x)在点x0处取得极小值,例：求下列函数的极值 f (x)2x33x2 解： f (x)6x26x，f (x)12x6 令6x26x0，得驻点为x11，x20 f (1)60，f (0)60 把x11，x20代入原函数计算得f (1)1、f (0)0 当x1时，y极小1，x0时，y极大0,函数极值的判定,例：求下列函数的极值 f (x)sinxcosx，x0,2 解： f (x)cosxsinx，令cosxsinx0， 得驻点为x1 ，x2 ，又f (x)sinxcosx， 把x1 ，x2 代入原函数计算得 f ( ) 、f ( ) 。所以当x 时，y极大 ， x 时，y极小,注意 如果f (x0)0，f (x0)0或不存在，本定理无效，则需要考察点x0两边f (x0)的符号来判定是否为函数的极值点。,函数极值的判定,实例,问题的实质：,问题,：一块长方形的金属板，四个顶点的坐标是,(1,1)，(5,1)，(1,3)，(5,3)在坐标原点处有一个火焰，,它使金属板受热假定板上任意一点处的温度与该点,到原点的距离成反比在(3,2)处有一个蚂蚁，,问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？,应沿由热变冷变化最骤烈的方向（即梯度方向）爬行,梯度的概念,在几何上 表示一个曲面,曲面被平面 所截得,所得曲线在xoy面上投影如图,等高线,梯度为等高线上的法向量,梯度的概念,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,例如,等高线的画法,梯度与等高线的关系：,类似于二元函数，此梯度也是一个向量，,其方向与取得最大方向导数的方向一致，,其模为方向导数的最大值.,梯度的概念可以推广到三元函数,梯度的概念可以推广到三元函数,在 处梯度,解,由梯度计算公式得,故,梯度的概念可以推广到三元函数,49,梯度下降法又称最速下降法。函数J(a)在某点ak的梯度 是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。 在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。,梯度下降法,梯度下降法,51,求函数J(a)极小值的问题，可以选择任意初始点a0 ，从a0出发沿着负梯度方向走，可使得J(a)下降最快。 s(0)：点a0的搜索方向。,梯度下降法,52,对于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为: 从ak点出发，沿着 方向走一步，步长为 ,得到新点ak+1,表示为：,梯度下降法,53,梯度下降法,54,因此，在新点ak+1，函数J(a)的函数值为： 所有的ak组成一个序列，该序列由迭代算法生成 a0, a1, a2, . , ak, ak+1, . 该序列在一定条件下收敛于使得J(a)最小的解a* 迭代算法公式：,梯度下降法,55,迭代算法公式： 关键问题：如何设计步 长 如果选得太小，则算法收敛慢，如果选得太大， 可能会导致发散。,梯度下降法,56,梯度法的迭代过程： 选取初始点a0，给定允许误差0,0,并令k=0。 计算负梯度 及其单位向量 。 检查是否满足条件 ，若满足则转8，否则继续。 计算最佳步长 。 令： 计算并检验另一判据： ，满足转8，否则继续。 令k=k+1,转2。 输出结果，结束。,梯度下降法,57,目标函数曲面J(W),58,目标函数曲面J(W) -连续、可微,59,目标函数曲面J(W) -连续、可微,60,全局极小点,61,局部极小点1,62,局部极小点2,63,目标函数曲面J(W),64,目标函数曲面J(W) -连续,65,目标函数曲面J(W) -连续、可微,66,初始状态1,67,搜索寻优梯度下降,68,搜索寻优梯度下降,69,搜索寻优梯度下降,70,搜索寻优梯度下降,71,搜索寻优梯度下降,72,搜索寻优梯度下降,73,搜索寻优梯度下降,74,搜索寻优梯度下降,75,搜索寻优梯度下降,76,搜索寻优梯度下降,77,搜索寻优梯度下降,78,搜索寻优梯度下降,79,搜索寻优梯度下降,80,搜索寻优梯度下降,81,搜索寻优梯度下降,82,目标函数全局极小点,83,目标函数全局极小点,84,目标函数全局极小点,85,目标函数全局极小点,86,目标函数曲面,87,初始状态2,88,初始状态2,89,搜索寻优梯度下降,90,搜索寻优梯度下降,91,搜索寻优梯度下降,92,搜索寻优梯度下降,93,搜索寻优梯度下降,94,目标函数局部极小点2,95,目标函数局部极小点2,96,目标函数局部极小点2,97,目标函数局部极小点2,98,目标函数局部极小点2,99,Thank You !,