第六章第六章 数据拟合方法数据拟合方法数据拟合的最小二乘法数据拟合的最小二乘法Bezier曲线曲线例：考察某种纤维的强度与其拉伸倍数的关系例：考察某种纤维的强度与其拉伸倍数的关系,下表是实下表是实际测定的际测定的24个纤维样品的强度与相应的拉伸倍数的记录个纤维样品的强度与相应的拉伸倍数的记录:纤维强度随拉伸倍数增加而增加。纤维强度随拉伸倍数增加而增加。纤维强度随拉伸倍数增加而增加。纤维强度随拉伸倍数增加而增加。6.1 数据拟合的最小二乘法数据拟合的最小二乘法一、一、 曲线拟合的数学描述与问题求解曲线拟合的数学描述与问题求解24个点大致分布在个点大致分布在一条直线附近。一条直线附近。故可认为强度故可认为强度y与拉伸倍数与拉伸倍数x的的主要关系应为线主要关系应为线性关系：性关系：必须找到一种度量标准来衡量什么曲线最接近所有数据点。必须找到一种度量标准来衡量什么曲线最接近所有数据点。x x1 x2 xmf(x) y1 y2 ym1、数据拟合问题、数据拟合问题研究内容：从一大堆看上去杂乱无章的数据中找出规律研究内容：从一大堆看上去杂乱无章的数据中找出规律研究内容：从一大堆看上去杂乱无章的数据中找出规律研究内容：从一大堆看上去杂乱无章的数据中找出规律性来，即设法构造一条曲线（拟合曲线）反映所给数据性来，即设法构造一条曲线（拟合曲线）反映所给数据性来，即设法构造一条曲线（拟合曲线）反映所给数据性来，即设法构造一条曲线（拟合曲线）反映所给数据点总的趋势，以消除其局部波动。这种要求曲线尽可能点总的趋势，以消除其局部波动。这种要求曲线尽可能点总的趋势，以消除其局部波动。这种要求曲线尽可能点总的趋势，以消除其局部波动。这种要求曲线尽可能逼近给定数据的过程称逼近给定数据的过程称逼近给定数据的过程称逼近给定数据的过程称“ “拟合拟合拟合拟合” ”。给定一组值：给定一组值：给定一组值：给定一组值：求函数求函数求函数求函数使得使得使得使得最小。最小。最小。最小。据实验数据分布特点选取，可选幂函数类、指数据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类等。函数类、三角函数类等。（1）若）若 (x)为一元函数，则函数曲线为平面图为一元函数，则函数曲线为平面图形，称形，称曲线拟合曲线拟合。（2） (x)为拟合函数，上式最小为拟合条件为拟合函数，上式最小为拟合条件（即要求拟合曲线与各数据点在（即要求拟合曲线与各数据点在y方向的误差平方向的误差平方和最小）。方和最小）。（3）函数类的选取：）函数类的选取：说明：说明：残差向量的各分量平方和记为：残差向量的各分量平方和记为：残差向量的各分量平方和记为：残差向量的各分量平方和记为：2、最小二乘法：、最小二乘法：以残差平方和最小问题的解来确定拟合函数的以残差平方和最小问题的解来确定拟合函数的方法。方法。令令在回归分析中称为残差(i=1,2,m)残差向量：残差向量：残差向量：残差向量：由多元函数求极值的必要条件，有由多元函数求极值的必要条件，有可得可得即即上式为由上式为由n+1个方程组成的方程组，称个方程组成的方程组，称正规方程组正规方程组。由由由由得得得得即即即即引入记号引入记号则由内积的概念可知则由内积的概念可知显然内积满足交换律显然内积满足交换律正规方程组便可化为正规方程组便可化为将其表示成矩阵形式：将其表示成矩阵形式：其系数矩阵为对称阵。其系数矩阵为对称阵。所以正规方程组的系数矩阵非奇异所以正规方程组的系数矩阵非奇异,即即根据根据Crame法则法则,正规方程组有唯一解，称其为最小二乘解。正规方程组有唯一解，称其为最小二乘解。作为一种简单的情况，常使用多项式函数作为一种简单的情况，常使用多项式函数Pn(x)作作为为(xi,yi) (i=1,2,m)的拟合函数。的拟合函数。基函数之间的内积为：基函数之间的内积为：拟合函数拟合函数(x)=Pn(x)的基函数的基函数为：即正规方程组为即正规方程组为例例. 回到本节开始的实例回到本节开始的实例，从散点图可以看出，从散点图可以看出，纤维强度和拉伸倍数之间近似线性关系，故纤维强度和拉伸倍数之间近似线性关系，故可选取线性函数可选取线性函数为拟合函数建立正规方程组，其基函数为为拟合函数建立正规方程组，其基函数为根据内积公式，可得根据内积公式，可得正规方程组为正规方程组为解得解得残差平方和：残差平方和：拟合曲线与散点拟合曲线与散点的关系如右图的关系如右图:即为所求的最小二乘解。即为所求的最小二乘解。即为所求的最小二乘解。即为所求的最小二乘解。故故若若mn+1，则此方程组称，则此方程组称超定方程组超定方程组（方程个数（方程个数未知数未知数个数）个数）二、二、 超定方程组的最小二乘解超定方程组的最小二乘解将拟合函数以向量表示：将拟合函数以向量表示：令令（i=1,2,m）可得可得考虑正规方程组考虑正规方程组（k=0,1,n）（1）未知数）未知数aj的系数的系数为超定方程组中系数阵第为超定方程组中系数阵第k列与第列与第j列对应积之和列对应积之和（即内积（即内积(k,j)）；）；（2）右端向量）右端向量为系数阵第为系数阵第k列与列与m个函数对应积之和。个函数对应积之和。可知：可知：故正规方程组矩阵形式为：故正规方程组矩阵形式为：若有唯一解，称其为超定方程组的若有唯一解，称其为超定方程组的最小二乘解最小二乘解。注：注：最小二乘解并不能满足超定方程组中每个最小二乘解并不能满足超定方程组中每个方程，但要求尽可能接近给定数据，即允许每方程，但要求尽可能接近给定数据，即允许每个等式可以稍有偏差（即个等式可以稍有偏差（即残差残差）。）。求一般超定方程组求一般超定方程组Ax=b的主要过程：的主要过程：（1）求出系数矩阵）求出系数矩阵A的转置矩阵的转置矩阵AT；（2）计算矩阵）计算矩阵D=ATA和向量和向量f=ATb；（3）求解正规方程组）求解正规方程组Dx=f。x 1 23 4y 4 10 18 26例例1 用多项式拟合函数：用多项式拟合函数：解：解：设设得得即即记系数矩阵为记系数矩阵为 ，则，则故正规方程组为故正规方程组为解得解得注：注：具体用几次多项式拟合，可据实际情况具体用几次多项式拟合，可据实际情况而定。可先画草图，将已知点描上去，看与而定。可先画草图，将已知点描上去，看与什么函数相近，就以什么函数拟合。什么函数相近，就以什么函数拟合。拟合曲线：拟合曲线：Bezier曲线曲线：由一组多边形折线的各顶点：由一组多边形折线的各顶点P0 , P1 , Pm定义定义 。只有第一点和最后一点在。只有第一点和最后一点在曲线上，其余点用以定义曲线的阶次与倒数，曲线上，其余点用以定义曲线的阶次与倒数，多边折线的第一段与最后一段表示出曲线在多边折线的第一段与最后一段表示出曲线在起点和终点处的切线方向。起点和终点处的切线方向。6.2 Bezier曲线曲线若给定控制多边形顶点若给定控制多边形顶点P0 ,P1 , Pm坐标坐标(x0 ,y0 ) ,(xm ,ym )，则相应的，则相应的Bezier多项式多项式定定义为：义为：Bezier曲线的数学表达式：曲线的数学表达式：其中其中（1）一次一次Bezier曲线曲线（m=1）：）：通过平面上两通过平面上两点点P0 ,P1 的直线段。的直线段。若记若记(k=0,1,m)则有则有矢量表示矢量表示下面给出下面给出m=1,2,3时，时，Bezier曲线数学表达式：曲线数学表达式：（2）二次）二次Bezier曲线（曲线（m=2）：通过平面上三）：通过平面上三点点P0 ,P1 ,P2的抛物线。的抛物线。若记若记则则m次次Bezier多项式可表示为多项式可表示为（3）三次）三次Bezier曲线（曲线（m=3）：通过平面上四）：通过平面上四点点P0 ,P1 ,P2 ,P3的三次曲线。的三次曲线。Bezier多项式性质：多项式性质：（1）（2）（3）P63习题四：习题四：1，2，3，4，5本章作业