4.3 协方差与相关系数协方差与相关系数一、协方差的定义一、协方差的定义二、协方差的性质二、协方差的性质三、相关系数的定义三、相关系数的定义四、相关系数的性质四、相关系数的性质五、矩的概念与协方差矩阵五、矩的概念与协方差矩阵六、六、n n维正态分布的概率密度与性质维正态分布的概率密度与性质七、小结七、小结 前面我们介绍了随机变量的数学期望前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映分量之和方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是本间关系的数字特征中，最重要的，就是本讲要讨论的讲要讨论的协方差和相关系数协方差和相关系数本节本节将要讨论的协方差是反映随机将要讨论的协方差是反映随机变量之间依赖变量之间依赖关系关系的一个数字特征的一个数字特征.在在一定程度上反映了随机变量一定程度上反映了随机变量与与之间的关系之间的关系.完完在在证明方差的性质时，证明方差的性质时， 已经知道，已经知道，当当与与相互独相互独立时，立时， 有有反之则说明，反之则说明，当当时，时，与与一定不相互独立，一定不相互独立，这这说明量说明量一、协方差的定义一、协方差的定义定义定义设设为二维为二维随机向量，随机向量， 若若存在，存在，则称其则称其为随机变量为随机变量和和的的协方差协方差， 记为记为即即按按定义，定义，其概率分布为其概率分布为则则若若为为连续型随机向量，连续型随机向量，其其概率密度为概率密度为为离型为离型随机向量，随机向量，若若利用数学期望的性质，利用数学期望的性质，易将易将协方差的计算协方差的计算化化简简.特别地，特别地，有有与与独立时，独立时，当当完完协方差计算的简化公式协方差计算的简化公式二、协方差的性质二、协方差的性质1. 协方差的基本性质协方差的基本性质(1)(2)(3)常数；常数；(4)(5)其中其中是是为为任意常数；任意常数；(6)当当与与相互独立，相互独立，则则2. 随机变量和的方差与协方差的关系随机变量和的方差与协方差的关系特别地，特别地，若若与与相互独立，相互独立，注注： 上述结果可推广至上述结果可推广至维维情形：情形：则则若若两两独立，两两独立，则有则有可以证明：可以证明： 若若的的方差存在，方差存在，则则协方差协方差一定存在且满足下列不等式：一定存在且满足下列不等式：完完例例1已知离散型随机向量已知离散型随机向量的概率分布如右表的概率分布如右表, ,求求解解容易求得容易求得的概率分的概率分的概率分布为的概率分布为布为布为计算得计算得于是于是完完例例2 设连续型随机变量设连续型随机变量的密度函数为的密度函数为求求解解由由的密度函数可求得其边缘密度函的密度函数可求得其边缘密度函数分别为数分别为: :从而从而完完 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X和和Y相互间的关系，但它还受相互间的关系，但它还受X与与Y本身度量单位本身度量单位的影响的影响. 例如：例如：Cov(kX, kY)=k2Cov(X,Y)为为避免随机变量本身度量单位不同而影响它们相互避免随机变量本身度量单位不同而影响它们相互关系的度量，关系的度量， 可将可将每个随机变量标准化，每个随机变量标准化，即取即取并将并将作为作为与与之间相互关系的一种度之间相互关系的一种度量，量，而而定义定义设设为二维为二维随机向量，随机向量，称称为为随机变量随机变量和和的的相关系数相关系数， 有时也记有时也记为为特别地，特别地， 当当时，时，称称与与不不相关相关.三、相关系数的定义三、相关系数的定义四、相关系数的性质四、相关系数的性质性质性质1.证证 由由方差的性质和协方差的定义知，方差的性质和协方差的定义知， 对对任意实数任意实数有有令令则则由于方差由于方差是正是正的，的，故必有故必有所以所以注意到此时注意到此时易见易见结论成立结论成立. 注注：与与相互独立相互独立与与不不相关相关.性质性质2. 若若和和相互独立，相互独立，则则例例1 设设X服从服从(-1/2, 1/2)内的均匀分布内的均匀分布,而而Y=cos X,（请课下自行验证）（请课下自行验证）因而因而 =0，即即X和和Y不相关不相关 .但但Y与与X有严格的函数关系，有严格的函数关系，即即X和和Y不独立不独立 .不难求得，不难求得，Cov(X,Y)=0，性质性质3.若若则则存在常数存在常数使使而且而且时，时，注注：相关系数刻画了相关系数刻画了和和间间“线性相关线性相关”的的程度程度.的值越的值越接近于接近于1，与与线性相关程度越高；线性相关程度越高；的值越的值越接近于接近于0，与与线性相关程度越弱；线性相关程度越弱；时，时，与与有有严格线性关系；严格线性关系；时，时，与与无线性关系；无线性关系；即即X和和Y以概率以概率1线性相关线性相关.而且而且时，时，这里注意：这里注意：只只说明说明与与没有线性没有线性关系关系. 并不能说明并不能说明与与之间没有其它函数关系之间没有其它函数关系.与与从而不能推出从而不能推出独立独立.时，时，当当4. 设设称其为用称其为用来来近似近似的的均方均方误差误差， 则有则有下列结论：下列结论：若若则则使均方使均方误差达到最小误差达到最小. =E(Y2)+b2E(X2)+a2- 2bE(XY)+2abE(X) - 2aE(Y)e =EY-(a+bX)2 解得解得这样求出的最佳逼近为这样求出的最佳逼近为L(X)=a0+b0X注注：示示的的好坏程度，好坏程度，我们可用均方误差我们可用均方误差 来来衡量以衡量以近似表近似表似程度越好，似程度越好， 且知且知最佳的线性近似为最佳的线性近似为其余均方误差其余均方误差能说明能说明越越接近接近1，越越小小. 反之，反之，越近于越近于0，就越就越大，大，与与 的的线性相关性越小线性相关性越小.值越小值越小表示表示与与的近的近而而从这个侧面也从这个侧面也完完例例3 设设的分布律为的分布律为易知易知于是于是不相关不相关. . 这表示这表示不存不存在线性关系在线性关系, , 但但知知不是相互独立的不是相互独立的.事实上事实上, ,和和具有关系具有关系: :的值完全可由的值完全可由的值所确定的值所确定. .完完例例4 设设服从服从上的均匀分布上的均匀分布, , 且且判断判断与与是否不相关是否不相关, , 是否独立是否独立.解解 由于由于而而因此因此从而从而与与不相关不相关. . 但由于但由于与与满足关系满足关系: :所以所以与与不独立不独立.完完例例5 已知已知且且与与的相关系数的相关系数设设求求及及解解因因且且所以所以因因且且所以所以又因又因故故例例6 设二维随机变量设二维随机变量求相关系数求相关系数解解根据二维正态分布的边缘概率密度知根据二维正态分布的边缘概率密度知而而例例6 设二维随机变量设二维随机变量求相关系数求相关系数解解 令令则有则有例例6 设二维随机变量设二维随机变量求相关系数求相关系数解解 则有则有即有即有于是于是注注: :从本例的结果可见从本例的结果可见, ,二维正态随机变量二维正态随机变量的分布完全由的分布完全由和和各自的数学期望、各自的数学期望、方差以及方差以及它们的相关系数所确定它们的相关系数所确定. .此外此外, ,易见有结论易见有结论: :若若服从二维正态分布服从二维正态分布, ,则则与与相互独立相互独立,当且仅当当且仅当与与不相关不相关. .五、矩五、矩的的概念概念定义定义 设设和和为为随机变量，随机变量，为正整为正整数，数，为为阶阶原点矩原点矩 (简称简称 阶阶矩矩);为为 阶阶中心矩中心矩为为 阶阶绝对原点矩绝对原点矩；为为 阶阶绝对中心矩绝对中心矩；称称为为和和的的阶阶混合矩混合矩;为为和和的的混合中心矩混合中心矩.注注: 由定义可见：由定义可见：(1)的数学期望的数学期望是是的一阶的一阶原点矩；原点矩；(2)的方差的方差是是的二阶的二阶中心矩；中心矩；(3) 协方差协方差是是与与的二的二阶混合中阶混合中心矩心矩.完完六、协方差矩阵六、协方差矩阵将二维将二维随机变量随机变量的四个二阶的四个二阶中心矩中心矩排成排成矩阵的形式：矩阵的形式：对称矩阵对称矩阵称此称此矩阵为矩阵为的的协方差矩阵协方差矩阵.类似定义类似定义维维随机变量随机变量的协方差的协方差矩阵矩阵. 若若都都存在，存在，为为的的协方差矩阵协方差矩阵.完完称称六、六、n维正态分布的概率密度与性质维正态分布的概率密度与性质先先考虑二维正态分布的概率密度，考虑二维正态分布的概率密度，再将其再将其推广到推广到维维情形情形. 二维正态二维正态随机向量随机向量的概率密度为的概率密度为记记协方差矩阵协方差矩阵易易验算验算易易验算验算故二维正态故二维正态随机向量随机向量的的概率密度可用矩阵概率密度可用矩阵表示为表示为其中其中是是的的转置转置.进一步，进一步，向量，向量， 若若它的概率密度为它的概率密度为设设是是一个一个维随机维随机若若它的概率密度为它的概率密度为设设是是一个一个维随机维随机向量，向量，则称则称服从服从维维正态分布正态分布.其中，其中，是是的的协方差矩阵，协方差矩阵，是是它的行列式，它的行列式，表示表示的逆的逆矩阵，矩阵，和和 是是维列维列向量，向量， 而而是是的的转置转置.完完维正态分布的几条重要性质维正态分布的几条重要性质1.维正态维正态变量变量的每的每一个分量一个分量都是正态变量，都是正态变量，反之，反之，若若2.维正态维正态变量变量服从服从 维维正态正态分布的充要条件是分布的充要条件是任意线性组合任意线性组合均均服从一维正态分布服从一维正态分布正态变量正态变量.都是都是不全为不全为零）零）.（其中（其中3.若若服从服从维维正态分布，正态分布，设设是是的的线性函数，线性函数，则则也也服从服从维维正态分布正态分布.注注：这一这一性质称为正态变量的线性变换不变性性质称为正态变量的线性变换不变性.4.设设服从服从维正态维正态发布，发布，则则“相互独立相互独立” 等价于等价于“两两不两两不相关相关” .完完例例7 设设随机变量随机变量和和相互独立相互独立 ,试求试求的的概率密度概率密度.解解且且与与独立独立 , 故故和和的的联合分布为正态分布联合分布为正态分布 ,性组合是正态分布性组合是正态分布 ,且且即即和和的的任意线任意线例例7 设设随机变量随机变量和和相互独立相互独立 ,试求试求的的概率密度概率密度.解解且且即即的的概率密度是概率密度是完完这一讲我们介绍了协方差和相关系数这一讲我们介绍了协方差和相关系数相关系数是刻划两个变量间相关系数是刻划两个变量间线性相关程度线性相关程度的一个重要的数字特征的一个重要的数字特征.注意独立与不相关并不是等价的注意独立与不相关并不是等价的.当当(X,Y)服从二维正态分布时，有服从二维正态分布时，有X与与Y独立独立X与与Y不相关不相关协方差是反映随机变量之间依赖关系的一个数字特征协方差是反映随机变量之间依赖关系的一个数字特征.