第二章多元正态分布的参数估计2024/7/251多元正态分布的参数估计课件多元正态分布的参数估计课件第二章多元正态分布的参数估计&第一节基本概念&第二节多元正态分布&第三节多元正态分布的参数估计&第四节多元正态分布的应用于计算机实现2024/7/252多元正态分布的参数估计课件多元正态分布的参数估计课件第一节基本概念&一、随机向量&二、多元分布&三、随机向量的数学特征2024/7/253多元正态分布的参数估计课件多元正态分布的参数估计课件一、随机向量&在多元中，讨论的是多个变量的总体，即2024/7/254多元正态分布的参数估计课件多元正态分布的参数估计课件&把n 个样品排成一个 矩阵，称为样本数据本数据阵（或样本资料阵），记为： 简记为X。变量变量样品样品变量：列向量变量：列向量样品样品2024/7/255多元正态分布的参数估计课件多元正态分布的参数估计课件 变量序号目前工资（美元）受教育年限（年）初始工资（美元）工作经验（月）12345657,00040,20021,45021,90045,00028,350151612815827,00018,75012,00013,20021,00012,0001443638119013826&例如：变量变量样品样品2024/7/256多元正态分布的参数估计课件多元正态分布的参数估计课件样品数据阵：57,00040,20021,45021,90045,00028,350151612815827,00018,75012,00013,20021,00012,00014436381190138262024/7/257多元正态分布的参数估计课件多元正态分布的参数估计课件注意：&定义2.1 将p个随机变量 的整体称为p维随机向量，记为 。2024/7/258多元正态分布的参数估计课件多元正态分布的参数估计课件p维随机向量：目前工资目前工资 57000 40200 21450 21900 45000 28350 受教育年限受教育年限 15 16128158初始工资初始工资 27000 18750 12000 13200 21000 12000工作经验工作经验 14436381 190 138262024/7/259多元正态分布的参数估计课件多元正态分布的参数估计课件（一）回顾一下一元随机变量的分布。&设X 是一个随机变量，称 为X 的概率分布函数或简称为分布函数，记为 。&若随机变量在有限或可列个值 上取值， 记 ， 且 ，则称X 为离散型随机变量， 称 ， 为X 的概率分布。二、多元分布2024/7/2510多元正态分布的参数估计课件多元正态分布的参数估计课件例如：彩票问题彩票问题&彩票的发行数额巨大，其实质如何呢？&请看一则实例：发行彩票10万张，每张1元。设头奖1个，奖金1万元；二等奖2个，奖金各5仟元；三等奖10个，奖金各1仟元；四等奖100个，奖金各1佰元；五等奖1000个，奖金各10元。各项奖金的概率分布是：2024/7/2511多元正态分布的参数估计课件多元正态分布的参数估计课件&设 ，若存在一个非负函数f(x) ，使得一切实数 x有： ，则称f(x) 为X 的分布密度函数，简称为密度函数。2024/7/2512多元正态分布的参数估计课件多元正态分布的参数估计课件概率是曲线下的概率是曲线下的面积！面积！f(x)xbP ( axb )a2024/7/2513多元正态分布的参数估计课件多元正态分布的参数估计课件&一个函数f(x)能作为某个随机变量X 的分布密度函数的重要条件是：&（1），对一切实数；&（2）。2024/7/2514多元正态分布的参数估计课件多元正态分布的参数估计课件（二）多元随机向量的分布&定义2.3设是维随机向量，若若它的全部概率集中在一个有穷或可数个点的集它的全部概率集中在一个有穷或可数个点的集合合 上上 ，且满足，则称为离散型随机向量，称，为的概率分布。2024/7/2515多元正态分布的参数估计课件多元正态分布的参数估计课件&例如：设随机变量X在1、2、3、4四个整数中等可能地取值，另一个随机变量Y在1X中等可能地取一个整数值，则有 XY123411/41/81/121/16201/81/121/163001/121/1640001/16点的点的集合集合2024/7/2516多元正态分布的参数估计课件多元正态分布的参数估计课件&设是p维随机向量，它的多元分布函数定义为记为，其中，表示维欧氏空间。2024/7/2517多元正态分布的参数估计课件多元正态分布的参数估计课件&设，若存在一个非负函数，使得对一切有则称为连续型随机向量，称为分布密度函数，简称为密度函数或分布密度。2024/7/2518多元正态分布的参数估计课件多元正态分布的参数估计课件&一个元函数能作为中某个随机向量的密度函数的主要条件是：（1），；（2）2024/7/2519多元正态分布的参数估计课件多元正态分布的参数估计课件&【例2.1】试证函数为随机向量的密度函数。&证：只要验证满足密度函数两个条件即可（1）显然，当时有（2）2024/7/2520多元正态分布的参数估计课件多元正态分布的参数估计课件&通过变换 中各分量的次序，总可假定 正好是 的前q个分量，其余p-q个分量为 ，即 ， 相应的取值也可分为两部分 。（三）随机向量的边缘分布（三）随机向量的边缘分布2024/7/2521多元正态分布的参数估计课件多元正态分布的参数估计课件p维随机向量：目前工资目前工资 57000 40200 21450 21900 45000 28350 受教育年限受教育年限 15 16128158初始工资初始工资 27000 18750 12000 13200 21000 12000工作经验工作经验 14436381 190 138262024/7/2522多元正态分布的参数估计课件多元正态分布的参数估计课件&定义2.4 若 是p维随机向量，由它的q个分量组成的q维随机向量 的分布完全取决于全部变量的联合分布。由全部变量的联合分布得出的其中由全部变量的联合分布得出的其中部分随机向量的联合分布叫做随机向量部分随机向量的联合分布叫做随机向量 的的 的边缘（或边际）分布的边缘（或边际）分布。2024/7/2523多元正态分布的参数估计课件多元正态分布的参数估计课件&当 的分布函数是 时， 的分布函数即边缘分布函数为： &当 有分布密度 时（联合分布密度），则 也有分布密度，即边缘密度函数为：2024/7/2524多元正态分布的参数估计课件多元正态分布的参数估计课件&例如：设随机变量X在1、2、3、4四个整数中等可能地取值，另一个随机变量Y在1X中等可能地取一个整数值，则有边缘分布： XY123411/41/81/121/1625/48201/81/121/1613/483001/121/167/4840001/163/481/41/41/41/4X的的边缘边缘分布分布Y的的边缘边缘分布分布2024/7/2525多元正态分布的参数估计课件多元正态分布的参数估计课件&【例2.2】对例2.1中的 求边缘密度函数。&解： 同理 2024/7/2526多元正态分布的参数估计课件多元正态分布的参数估计课件&定义2.5 若p个随机变量 的联合分布等于各自的边缘分布的乘积，则称 是相互独立的。（四）相互独立（四）相互独立2024/7/2527多元正态分布的参数估计课件多元正态分布的参数估计课件2024/7/2528多元正态分布的参数估计课件多元正态分布的参数估计课件二、随机向量的数字特征也可以表示为：（一）随机向量的数学期望（一）随机向量的数学期望2024/7/2529多元正态分布的参数估计课件多元正态分布的参数估计课件定义2.6 设 ，均值（向量）具有以下性质：&（1） &（2） &（3） 其中， 、 为随机向量， 、 为大小适合运算的常数矩阵。2024/7/2530多元正态分布的参数估计课件多元正态分布的参数估计课件&定义2.7 设 ， ，称 为 的方差或协差阵，有时把 简记为 ， 简记为 ，从而有 （二）随机向量的方差阵和协差阵（二）随机向量的方差阵和协差阵2024/7/2531多元正态分布的参数估计课件多元正态分布的参数估计课件&称随机向量 和 的协差阵为 当 ，则为 ，称为 的自协差阵。 2024/7/2532多元正态分布的参数估计课件多元正态分布的参数估计课件&若，则称和不相关，由和相互独立易推得，即和不相关；但反过来，当和不相关时，一般不能推知它们独立。其中，为零矩阵。 2024/7/2533多元正态分布的参数估计课件多元正态分布的参数估计课件 当 、 为常数矩阵时，由定义可以推出协方差阵有如下性质：&（1）对于常数向量 ，有 &（2） &（3） &（4）设 为n 维随机向量，期望和协方差存在，记 ， ， 为 常数阵，则2024/7/2534多元正态分布的参数估计课件多元正态分布的参数估计课件&若 的协差阵存在，且每个分量的方差大于零，则称随机向量 的相关阵为 ，其中 ( )为 与 的相关系数。（三）随机向量的相关阵（三）随机向量的相关阵2024/7/2535多元正态分布的参数估计课件多元正态分布的参数估计课件&将这些相关系数按照与协差阵同样的顺序排列，就给出了该随机变量的相关矩阵，该矩阵为：2024/7/2536多元正态分布的参数估计课件多元正态分布的参数估计课件&注意：在使用各种统计分析之前，常需要将每个指标“标准化”，即进行如下变换其中，&那么，由（2.7）可以得到随机向量 （2.7）（四）标准化（四）标准化2024/7/2537多元正态分布的参数估计课件多元正态分布的参数估计课件&令， 为随机向量中各个分量的标准差所组成的对角矩阵，则标准化随机向量 可表示为：2024/7/2538多元正态分布的参数估计课件多元正态分布的参数估计课件&那么，标准化后的随机向量 均值和协差阵分别为 或者：2024/7/2539多元正态分布的参数估计课件多元正态分布的参数估计课件第二节多元正态分布&多元正态分布的定义&多元正态分布的性质2024/7/2540多元正态分布的参数估计课件多元正态分布的参数估计课件&一元正态分布的密度函数，为&上式可以改写为一、多元正态分布的定义正态分布的重要性正态分布的重要性2024/7/2541多元正态分布的参数估计课件多元正态分布的参数估计课件&定义2.8若p维随机向量的密度函数为： 其中 ， 是p维向量， 是p阶正定阵，则称 服从p元正态分布，也称 为p维正态随机向量，简记为 。&其中， 为 的均值（向量）， 为 的协差阵2024/7/2542多元正态分布的参数估计课件多元正态分布的参数估计课件&当p =2时，设 服从二元正态分布，则 &即有 &当p =1 时，即为一元正态分布密度函数。2024/7/2543多元正态分布的参数估计课件多元正态分布的参数估计课件&故 与 的密度函数为 如果 ，则 与 是相互独立的；若 ，则 与 趋于正相关；若 ，则 与 趋于负相关。2024/7/2544多元正态分布的参数估计课件多元正态分布的参数估计课件2024/7/2545多元正态分布的参数估计课件多元正态分布的参数估计课件多元正态分布的性质：&1若 ， 是对角阵，则 相互独立。&2若 ， 为 阶常数阵， 为 维常数向量，则 即正态随机向量的线性函数还是正态的。二、多元正态分布的性质2024/7/2546多元正态分布的参数估计课件多元正态分布的参数估计课件&3若 ，将 ， ， 作如下剖分 则 ， 证明：根据性质证明：根据性质2，2024/7/2547多元正态分布的参数估计课件多元正态分布的参数估计课件例如：&若则2024/7/2548多元正态分布的参数估计课件多元正态分布的参数估计课件注意：&第一，多元正态分布的任何边缘分布为正态分布，但反之不真。多元分析中的很多统计方法，大都假定数据来自多元正态总体。但是要判断已有的一批数据是否来自多元正态总体，并不是一件简易的事。可是反过来要肯定数据不是来自多元正态总体，倒是有一些简易方法，其依据是：如果X服从P元正态分布，则它的每个分量必服从一元正态分布，因此把某个分量的n个样品值作成直方图，如果断定不呈正态分布则就可以断定随机向量X也不可能服从多元正态分布。2024/7/2549多元正态分布的参数估计课件多元正态分布的参数估计课件&第二，由于 ，故 表示 和 不相关，因此可知对于多元正态变量而言， 和 的不相关与独立是等价的。2024/7/2550多元正态分布的参数估计课件多元正态分布的参数估计课件2024/7/2551多元正态分布的参数估计课件多元正态分布的参数估计课件因此，2024/7/2552多元正态分布的参数估计课件多元正态分布的参数估计课件第三节多元正态分布的参数估计&多元样本的数字特征&均值向量与协差阵的最大似然估计&Wishart分布2024/7/2553多元正态分布的参数估计课件多元正态分布的参数估计课件为什么要抽样？为什么要抽样？元元素素多多，搜搜集集数数据据费费时时、费费用用大大，不不及及时时而而使使所所得得的的数数据据无无意义。意义。检查具有检查具有破坏性破坏性补充内容：补充内容：2024/7/2554多元正态分布的参数估计课件多元正态分布的参数估计课件抽样推断是根据样本统计量推断总体参数的过程。抽样推断是根据样本统计量推断总体参数的过程。统计推断统计推断总体参数（未知量）总体参数（未知量）样本统计量（已知量）样本统计量（已知量）抽样推断的概念抽样推断的概念2024/7/2555多元正态分布的参数估计课件多元正态分布的参数估计课件总体参数和样本统计量&总体参数：反映总体数量特征的指标，其数值是唯一唯一的、确定确定的。&样本统计量：根据样本分布计算的指标，因其数值随抽取的样本不同而不同，因而是随机变量随机变量。2024/7/2556多元正态分布的参数估计课件多元正态分布的参数估计课件样本均值的抽样分布从总体中随机的重复抽出容量为n的样本 ，它们是与总体同分布，且相互独立的随机变量。则含有n个单位的样本均值的期望等于总体的平均数。2024/7/2557多元正态分布的参数估计课件多元正态分布的参数估计课件例如：X1X22024/7/2558多元正态分布的参数估计课件多元正态分布的参数估计课件2、n个单位样本均值的方差，等于总体方差除以n。&从正态总体中，随机抽取的n个单位样本的均值的分布也呈正态分布。样本均值的抽样分布服从正态分布，即2024/7/2559多元正态分布的参数估计课件多元正态分布的参数估计课件&设样本资料可用矩阵表示：一、多元样本的数字特征2024/7/2560多元正态分布的参数估计课件多元正态分布的参数估计课件&（1）样本均值向量定义为 其中，2024/7/2561多元正态分布的参数估计课件多元正态分布的参数估计课件&（2）样本离差（叉积）阵定义为2024/7/2562多元正态分布的参数估计课件多元正态分布的参数估计课件&这里：2024/7/2563多元正态分布的参数估计课件多元正态分布的参数估计课件&（3）样本协差阵定义为：&这里，2024/7/2564多元正态分布的参数估计课件多元正态分布的参数估计课件&（4）样本相关阵定义为：其中， 2024/7/2565多元正态分布的参数估计课件多元正态分布的参数估计课件&注意：样本均值向量和离差阵也可用样本资料阵直接表示如下：2024/7/2566多元正态分布的参数估计课件多元正态分布的参数估计课件&由于2024/7/2567多元正态分布的参数估计课件多元正态分布的参数估计课件&那么，样本协差阵根据叉积矩阵的性质有： 其中，单位矩阵单位矩阵2024/7/2568多元正态分布的参数估计课件多元正态分布的参数估计课件二、均值向量与协差阵的最大似然估计&样本资料阵为 则可由最大似然法求出 和 的估计量。2024/7/2569多元正态分布的参数估计课件多元正态分布的参数估计课件&极大似然法是通过似然函数即样品的联合样品的联合分布密度函数分布密度函数来求总体参数的估计量。&首先，构造似然函数（容量为n的独立随机样本的联合分布密度函数）（2.16）2024/7/2570多元正态分布的参数估计课件多元正态分布的参数估计课件&在上式中，样本一旦抽定，就是已知的常数向量，而只有总体均值向量和未知。因此，可将此式看作是和的似然函数。为了求出使此似然函数取极大值的和的值，将此似然函数的两边取对数：2024/7/2571多元正态分布的参数估计课件多元正态分布的参数估计课件因为对数函数是一个严格单调增函数，求 的极大值也就等价于求 的极大值，所以可以通过对 求极大值而等到 和 的估计量。根据矩阵的微分理论，由于对实对称矩阵 ，有 2024/7/2572多元正态分布的参数估计课件多元正态分布的参数估计课件&所以，对（2.17）式求偏导&从而得到极大似然估计量分别为：2024/7/2573多元正态分布的参数估计课件多元正态分布的参数估计课件 和 的估计量有如下基本性质：&1 ，即 是 的无偏估计； ，即 不是 的无偏估计， 而 ，即 是 的无偏估计；&2 ， 分别是 ， 的有效估计；&3 ， （或 ）分别是 ， 的一致估计。 2024/7/2574多元正态分布的参数估计课件多元正态分布的参数估计课件&定理2.2 设 和 分别是正态总体 的样本均值向量和离差阵，则&1 ；&2.离差阵 可以写为 其中， 独立同分布于 ；&3 和 相互独立；&4 为正定阵的充要条件是 。2024/7/2575多元正态分布的参数估计课件多元正态分布的参数估计课件三、Wishart分布&定义2.10 设 ， ， 且相互独立，则由 组成的随机矩阵： 的分布称为非中心Wishart分布，记为2024/7/2576多元正态分布的参数估计课件多元正态分布的参数估计课件是否有错？是否有错？2024/7/2577多元正态分布的参数估计课件多元正态分布的参数估计课件2024/7/2578多元正态分布的参数估计课件多元正态分布的参数估计课件2024/7/2579多元正态分布的参数估计课件多元正态分布的参数估计课件