直线回归法的原理直线回归法的原理及推导公式及推导公式主要内容主要内容 回回归直直线法的原理法的原理 回回归直直线的公式推的公式推导一一二二0 x 业务量（件）y 成本（元）y=a+bx一、直一、直线回回归法的原理法的原理直直线回回归发的原理的原理微微积分极分极值原理原理 从散布从散布图法可以看出，我法可以看出，我们总能能设法找法找到一条尽可能通到一条尽可能通过所有坐所有坐标点，也就是所点，也就是所有有误差最小的惟一直差最小的惟一直线y=a+bx 。 设ei为当当业务量量为xi时，实际值（又称（又称观测值）yi与与计算算值（a+bxi）的）的误差，即差，即 ei = yi (a+bxi)二、直二、直线回回归法公式推法公式推导 怎怎样判断一条直判断一条直线方程就是我方程就是我们所要所要找的所有找的所有误差最小的那条直差最小的那条直线y=a+bx 呢呢？可以考？可以考虑的的办法有三：法有三： 第一，判断所有第一，判断所有误差的代数和是否最差的代数和是否最小。即：小。即： ei =0 但由于但由于误差有正有差有正有负，可能相互抵消，可能相互抵消，会存在无数会存在无数满足上述条件的直足上述条件的直线，因而无，因而无法据此作出最法据此作出最终判断。判断。二、直二、直线回回归法公式推法公式推导所有所有误差的代数和是否最小示意差的代数和是否最小示意图？0 x 业务量（件）y 成本（元）满足足ei =0的条件的条件满足足ei =0的条件的条件二、直二、直线回回归法公式推法公式推导 第二，判断所有第二，判断所有误差差绝对值的合的合计是是否最小。即：否最小。即：ei =0 但上式展开后，涉及到但上式展开后，涉及到绝对数运算，非数运算，非常麻常麻烦： ei = e1e2 e3 en-1 en 因而也无法据此作出判断。因而也无法据此作出判断。 二、直二、直线回回归法公式推法公式推导 第三，判断所有第三，判断所有误差平方和是否最小。差平方和是否最小。即：即：ei2 =0 这种方法既排除了正种方法既排除了正负误差的符号差的符号问题，又避免了，又避免了绝对值运算的麻运算的麻烦。 因此，可以根据因此，可以根据误差的平方和是否达差的平方和是否达到最小，来判断直到最小，来判断直线方程方程y=a+bx的的总误差差是否达到最小。是否达到最小。 此法又称最小二乘法或最小平方法。此法又称最小二乘法或最小平方法。二、直二、直线回回归法公式推法公式推导 根据上述道理，回根据上述道理，回归直直线法就是求能法就是求能使使ei2 =0成立的回成立的回归系数系数a和和b的的值。 因因为 ei = yi (a+bxi) 所以所以 ei2 = yi (a+bxi) 2 按照微分极按照微分极值原理，令上式原理，令上式=0，并分，并分别对a和和b求偏求偏导数，就可以求出能数，就可以求出能满足足ei2 达到极小达到极小值的的a和和b。 按照此法推按照此法推导的的a，b计算公式，称算公式，称为 公式法。公式法。二、直二、直线回回归法公式推法公式推导e2=y (a+bx) 2 = y 22 y (a+bx)+ (a+bx) 2 = y 22ay 2bxy+a2 +2abx+ b2x2 =y22ay2bxy+na2+2abx+b2x2令：令：y 22ay 2 bxy+na2 +2abx+ b2 x2=0 对上式求上式求a的偏的偏导数，得：数，得： 2y +2na +2bx=0 整理得整理得 y =na +bx （1）式）式1.按公式法推按公式法推导a，b计算公式的算公式的过程程对y22ay2bxy+na2+2abx+b2 x2=0求求b的偏的偏导数，得：数，得： 2xy +2ax+ 2bx2 =0整理得整理得 xy = ax+ bx2 （2）式）式解解联立方程，即可求出立方程，即可求出a，b的的值。 1.按公式法推按公式法推导a，b计算公式的算公式的过程程y =na +bx xy = ax+ bx2 2.用行列式求二元一次方程用行列式求二元一次方程组中中a和和b的解的解y = na + bx xy = ax + bx2 因因为下列下列联立方程中，未知数立方程中，未知数为a和和b，y,xy 为已知常数，已知常数， n,x和和x2分分别为a和和b的系数，的系数，则有有常数列常数列 y xy用行列式的方法解法如下：= n x2-(x) 2a= yx2-x xy nxxx2yxyxx2b= nxy-x y nxyxy nx 2.用行列式求二元一次方程用行列式求二元一次方程组中中a和和b的解的解a=ab=bn x2-(x) 2yx2-x xy=nxy-x y=n x2-(x) 2y = na+bx可以同可以同时计算出算出a和和by-bxna =必必须先先计算出算出b，然后才能然后才能计算算 a 2.用行列式求二元一次方程用行列式求二元一次方程组中中a和和b的解的解 上述联立方程也可以不用求偏导数的方上述联立方程也可以不用求偏导数的方法来建立，可利用一种所谓简捷法来实现。法来建立，可利用一种所谓简捷法来实现。 y=a+bx y = (a+bx)=na+bx （1）式）式又又 xy=x(a+bx)=ax+b x2 xy= (ax+b x2 )=ax+bx2 （2）式）式3.用用简捷法来建立方程捷法来建立方程谢谢！谢谢！