第五章：随机变量的收敛性n n随机样本：随机样本：IIDIID样本样本 ，n n统计量：对随机样本的概括统计量：对随机样本的概括n nY Y为随机变量，为随机变量，Y Y的分布称为的分布称为统计量的采样分布统计量的采样分布n n如：样本均值、样本方差、样本中值如：样本均值、样本方差、样本中值n n收敛性：当收敛性：当样本数量样本数量n n趋向无穷大趋向无穷大时，统计量的变化时，统计量的变化n n大样本理论、极限定理、渐近理论大样本理论、极限定理、渐近理论n n对统计推断很重要对统计推断很重要1收敛性n n主要讨论两种收敛性主要讨论两种收敛性n n依概率收敛依概率收敛n n大数定律：样本均值依概率收敛于分布的期望大数定律：样本均值依概率收敛于分布的期望n n依分布收敛依分布收敛n n中心极限定理：样本均值依分布收敛于正态分布中心极限定理：样本均值依分布收敛于正态分布2例1：依概率收敛n n概率的频率解释：概率的频率解释：随着观测次数随着观测次数n n的增加，频率将会逐渐稳定的增加，频率将会逐渐稳定到概率到概率n n设在一次观测中事件设在一次观测中事件A A发生的概率发生的概率为为 n n如果观测了如果观测了n n次，事件次，事件A A发生了发生了 次，则当次，则当n n充分大时充分大时，A A在次观测中在次观测中发生的频率发生的频率 逐渐稳定到逐渐稳定到概率概率p p 。n n那么那么n n不对不对，若，若 n n则对于则对于 ，总存在，总存在 , ,当当 时，有时，有 成立成立n n但若取但若取 , , 由于由于n n即无论即无论N N多大多大, ,在在N N以后以后, ,总可能存在总可能存在n n , ,使使n n所以所以 不可能在通常意义下收敛于不可能在通常意义下收敛于p p。3例2：依分布收敛n n考虑随机序列考虑随机序列 ，其中，其中n n直观：直观： 集中在集中在0 0处，处， 收敛到收敛到0 0n n但但（Chebyshev不等式）4两种收敛的定义n n5.1 5.1 定义：令定义：令 为随机变量序列，为随机变量序列，X X为另为另一随机变量，用一随机变量，用F Fn n表示表示X Xn n的的CDFCDF，用，用F F表示表示X X的的CDFCDFn n1 1、如果对每个、如果对每个 ，当，当 时，时，n n则则X Xn n依概率收敛依概率收敛于于X X ，记为，记为 。n n2 2、如果对所有、如果对所有F F的连续点的连续点t t，有，有n n则则X Xn n依分布收敛依分布收敛于于X X ，记为，记为 。同教材上 5两种收敛的定义n n当极限分布为点分布时，表示为当极限分布为点分布时，表示为n n依概率收敛：依概率收敛：n n依分布收敛：依分布收敛：6其他收敛n n还有一种收敛：均方收敛（还有一种收敛：均方收敛（L L2 2收敛，收敛， converge to converge to X X in in quadratic meanquadratic mean） n n对证明概率收敛很有用对证明概率收敛很有用n n当极限分布为点分布时，记为当极限分布为点分布时，记为n n对应还有：对应还有：L L1 1收敛（收敛（converge to converge to X X in in L L1 1 ） 7n n依概率收敛依概率收敛n n随机变量序列随机变量序列 ，当对任意，当对任意 ，n n则称随机变量序列则称随机变量序列 几乎处处依概率收敛几乎处处依概率收敛到到X X （converge almost surely to converge almost surely to X X） ，记为，记为： n n几乎处处收敛：比依概率收敛更强几乎处处收敛：比依概率收敛更强其他收敛或或8各种收敛之间的关系n n点分布，点分布，c c为实数为实数L1almost surely(L2)反过来不成立！Quadratic meanprobabilitydistributionPoint-mass distribution9例：伯努利大数定律n n设在一次观测中事件设在一次观测中事件A A发生的概率发生的概率为为 ，如果观如果观测了测了n n次，事件次，事件A A发生了发生了 次，则当次，则当n n充分大时充分大时，A A在次观在次观测中发生的频率测中发生的频率 逐渐稳定到逐渐稳定到概率概率p p 。n n即对于即对于 ，n n表示表示当当n n充分大时充分大时，事件发生的频率事件发生的频率 与其概率与其概率p p存在较存在较大偏差的可能性小。大偏差的可能性小。10例：5.3n n令令n n直观：直观： 集中在集中在0 0处，处， 收敛到收敛到0 0n n依概率收敛：依概率收敛：（Chebyshev不等式）11例：续n n依分布收敛：令依分布收敛：令F F表示表示0 0处的点分布函数，处的点分布函数，Z Z表示标准正态表示标准正态分布的随机变量分布的随机变量12收敛的性质13弱大数定律（WLLN）n n独立同分布（独立同分布（IIDIID）的随机变量序列）的随机变量序列 ， 方差方差 ，则样本均值，则样本均值 依概率收依概率收敛敛于期望于期望 ，即对任意，即对任意n n称称 为为 的一致估计（一致性）的一致估计（一致性）n n在定理条件下，当样本数目在定理条件下，当样本数目n n无限增加时，随机样本均值无限增加时，随机样本均值将几乎变成一个常量将几乎变成一个常量n n对样本方差呢？依概率收敛于对样本方差呢？依概率收敛于方差方差 证明：根据Cheyshev不等式14样本方差依概率收敛于分布的方差15强大数定律（SLLN）n n独立同分布（独立同分布（IIDIID）的随机变量序列）的随机变量序列 ， 方差方差 ，则样本均值，则样本均值 几乎处处收几乎处处收敛敛于期望于期望 ，即对任意，即对任意16例：大数定律n n考虑抛硬币的问题，其中正面向上的概率为考虑抛硬币的问题，其中正面向上的概率为p p，令，令 表示单表示单次抛掷的输出（次抛掷的输出（0 0或或1 1）。因此）。因此n n若共抛掷若共抛掷n n次，正面向上的比率为次，正面向上的比率为 。根据大数定律，。根据大数定律，n n但这并不意味着但这并不意味着 在数值上等于在数值上等于p pn n而是表示当而是表示当n n很大时，很大时， 的分布紧围绕的分布紧围绕p pn n令令 ，若要求，若要求 ，则，则n n至少为多少？至少为多少？n n解：解：17中心极限定理(Central Limit Theorem, CLT)n n独立同分布（独立同分布（IIDIID）的随机变量序列）的随机变量序列 , , ，则样本均值，则样本均值 近似服从期望为近似服从期望为 方差为方差为 的正态分布的正态分布 ，即，即其中其中Z Z为标准正态分布为标准正态分布或或也记为也记为n n无论随机变量无论随机变量X X为为何种类型的分布，只要满足定理条件，何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布。其样本均值就近似服从正态分布。正态分布很重要正态分布很重要n n但近似的程度与原分布有关但近似的程度与原分布有关n n大样本统计推理的理论基础大样本统计推理的理论基础18中心极限定理中心极限定理试验 http:/jyjs.gzhu.edu.cn:8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm19例：中心极限定理n n每个计算机程序的错误的数目为每个计算机程序的错误的数目为X X，n n现有现有125125个程序，用个程序，用 表示各个程序中的错误表示各个程序中的错误的数目，求的数目，求 的近似值的近似值n n解：解：20中心极限定理的应用之一二项概率的近似计算 n n设设 是是n n重重贝努里试验中事件贝努里试验中事件A A发生的次数，则发生的次数，则 ，对任意，对任意 ，有，有 n n当当n n很大时，直接计算很困难。这时很大时，直接计算很困难。这时 如果不大（即如果不大（即p p0.10.1，npnp55）或）或 不大，则可用不大，则可用PoissonPoisson分布来近似计算分布来近似计算21中心极限定理的应用之一二项概率的近似计算（续） n n当当p p不太接近于不太接近于0 0或或1 1时，可根据时，可根据CLTCLT，用正态分布来近似计用正态分布来近似计算算n n根据根据CLTCLT，德莫弗拉普拉斯定理 22中心极限定理的应用之一二项概率的近似计算（续） n n例：已知红黄两种番茄杂交的第二代结红果的植株与结黄例：已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为果的植株的比率为3:13:1，现种植杂交种，现种植杂交种400400株，求结黄果株，求结黄果植株介于植株介于8383到到117117之间的概率。之间的概率。 n n由题意：任意一株杂交种或结红果或结黄果，只有两种可由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率能性，且结黄果的概率 n n种植杂交种种植杂交种400400株，相当于做了株，相当于做了400400次贝努里试验，记为次贝努里试验，记为400400株杂交种结黄果的株数，则株杂交种结黄果的株数，则 n n当当n n=400=400较大时，根据较大时，根据CLTCLT，23中心极限定理的应用之一二项概率的近似计算（续） n n例：某单位内部有例：某单位内部有260260架电话分机，每个分机有架电话分机，每个分机有4%4%的时的时间要用外线通话。可以认为各个电话分机用不同外线是相间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以互独立的。问：总机需备多少条外线才能以95%95%的把握的把握保证各个分机在使用外线时不必等候？保证各个分机在使用外线时不必等候？ n n一个分机使用外线的概率一个分机使用外线的概率 n n260260个分机中同时使用外线的分机数个分机中同时使用外线的分机数 n n设总机确定的最少外线条数为设总机确定的最少外线条数为x x, ,n n则根据则根据CLTCLT，24中心极限定理n n标准差标准差 通常不知道，可用样本标准差代替，中通常不知道，可用样本标准差代替，中心极限定理仍成立，即心极限定理仍成立，即n n其中其中25中心极限定理n n无论随机变量无论随机变量X X为为何种类型的分布，只要满足定理条件，何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布其样本均值就近似服从正态分布n n但近似的程度与原分布有关但近似的程度与原分布有关n n正态近似的程度：正态近似的程度：Berry-EsseenBerry-Esseen定理定理n n若若 ，则，则n n还有中心极限定理得多变量版本还有中心极限定理得多变量版本26多元分布的中心极限定理n n令令 为为IIDIID随机向量，其中随机向量，其中n n协方差矩阵为协方差矩阵为 ，令样本均值向量为，令样本均值向量为n n则则 。，均值向量为，其中27Delta方法n n随机变量的变换的中心极限定理随机变量的变换的中心极限定理n n假定假定 ，且，且g g 可导，可导，n n则则n n换句话说，换句话说，28n n令令 为为IIDIID，n n其均值和方差（有限）分别为其均值和方差（有限）分别为 n n则根据则根据CLTCLT：n n假设假设 n n则利用则利用DeltaDelta方法，有方法，有例：29Delta方法n n多元变量情况多元变量情况n n假设假设 为随机向量序列，为随机向量序列，n n且且 ，n n令令 且且n n令令 表示表示 时时 的的 值，假设值，假设 中的元素非中的元素非0 0，则，则30例：n n令令 为为IIDIID随机向量，随机向量，n n其均值为其均值为 ，方差为，方差为n n令令 ，根据，根据CLTCLT：n n定义定义 ，其中，其中n n所以所以则31下节课内容：n n作业：作业： n nChp5Chp5：第：第2 2、4 4、6 6、9 9、1313题题 n n模拟方法：随机采样（模拟方法：随机采样（ChpChp2424）32