第五章第五章 大数律及中心极限定理大数律及中心极限定理 随机变量的大数律体现了随机现象平均随机变量的大数律体现了随机现象平均结果的一种稳定性。即如果大量地重复观察结果的一种稳定性。即如果大量地重复观察一个随机现象，它将体现出某些规律。一个随机现象，它将体现出某些规律。 中心极限定理主要研究随机现象在什么中心极限定理主要研究随机现象在什么条件下会服从正态分布，而且能够给出有关条件下会服从正态分布，而且能够给出有关偏差的大小。偏差的大小。 则称随机变量序列则称随机变量序列 Y1 ，Yn，依概率依概率收敛到常数收敛到常数 a ， 记成：记成： Yn a1. 依概率收敛的定义依概率收敛的定义 假设假设 Y1 ，Yn，是一个随机变量是一个随机变量组成的序列，组成的序列，a 是某一个常数。是某一个常数。 如果对于任意正数如果对于任意正数 0 都满足关系：都满足关系： lim n P ( | Yn a | ) = 0 或等价的或等价的 lim n P ( | Yn a | ) = 1 p一一. 大数定律大数定律依概率收敛与数列收敛的比较依概率收敛与数列收敛的比较(1) 数列数列 a 1 ，a 2 ，收敛到常数收敛到常数 a ： 对于任意固定的对于任意固定的 ，当，当 n充分大充分大时这个数列时这个数列 从从第第 n 项以后都落在区间项以后都落在区间 ( a , , a + ) 中。中。 (2) 随机变量序列随机变量序列 Y1 ，Y2 ， 依概率收敛到常数依概率收敛到常数 a ： 对于任意固定的对于任意固定的 ，当，当 n 充分大充分大时这个序列从时这个序列从 第第n 项以后基本只在区间项以后基本只在区间( a , , a + )里取值。里取值。 随机变量的依概率收敛可以看成是一种特殊随机变量的依概率收敛可以看成是一种特殊的数列收敛，这个数列由相应的概率组成。的数列收敛，这个数列由相应的概率组成。例例5.1.1 考虑数列考虑数列 an 与随机变量序列与随机变量序列 Yn ：(1) an = ，对所有的对所有的 n 1 ；(2) Yn 的概率分布定义为对所有的的概率分布定义为对所有的 n 1 ：Yn 0 1 p 1 因此对于任意给定一个正数因此对于任意给定一个正数 ( 比如比如 106 ) ，则从则从 106 +1 项开始，都有项开始，都有 数列数列 an 全都落在区间全都落在区间 ( 0 106 , , 0 + 106 ) 中，中， Yn 落在落在 ( 0 106 , , 0 + 106 ) 外的概率小于外的概率小于106 。 1 n 1 1 n n定理定理 5.1.1 (切比雪夫大数定理切比雪夫大数定理) 假设假设 X1，Xn，是一个独立随机变量是一个独立随机变量组成的序列，具有相同的期望组成的序列，具有相同的期望 、方差、方差 2 ， 定义这个随机变量序列的算术平均序列定义这个随机变量序列的算术平均序列：则对于任意的正数则对于任意的正数 0 都满足关系：都满足关系： lim n P ( | Yn | ) = 1。 Yn = X1 + + Xn n 即，相同期望与方差的独立随机变量序列即，相同期望与方差的独立随机变量序列算术平均的极限是它们共同的数学期望算术平均的极限是它们共同的数学期望 证明证明. 定理的证明根据数学期望、方差的性质定理的证明根据数学期望、方差的性质 以及切比雪夫不等式完成。以及切比雪夫不等式完成。 由于由于 X1，X2， 是具有相同期望和方差的是具有相同期望和方差的独立随机变量序列，根据独立随机变量序列，根据Yn 的定义显然有：的定义显然有： E Yn = , , DYn = ; ; 因此利用切比雪夫不等式，因此利用切比雪夫不等式， P ( | Yn | ) 1 1 。 2 n 2n 2思考思考1 生活中哪些现象可以用大数律来解释？生活中哪些现象可以用大数律来解释？定理定理 5.1.2 (贝努里大数定理贝努里大数定理) 假设随机事件假设随机事件A 在一次试验中发生概率是在一次试验中发生概率是 p，以以 nA 记记 n 次独立重复试验里次独立重复试验里 A 发生的次数，发生的次数， 则对于任意的正数则对于任意的正数 0 都有：都有： 贝努利定理说明概率可以利用频率来近似，贝努利定理说明概率可以利用频率来近似，它是它是“概率的频率定义概率的频率定义”的理论基础。的理论基础。lim n P ( | p | ) = 1 nA n2. 为什么频率的极限是概率为什么频率的极限是概率证明证明. 贝努里定理可看成是切比雪夫定理的特例，贝努里定理可看成是切比雪夫定理的特例， A 发生的次数发生的次数 nA 实际上服从实际上服从 B(n, ,p) 。 根据二项分布的分解：根据二项分布的分解： nA = X1 + X2 + + Xn ， 这里每个这里每个 Xk 服从参数服从参数 p 的两点分布；的两点分布； 因此由切比雪夫定理得到贝努利定理成立。因此由切比雪夫定理得到贝努利定理成立。思考思考2 什么地方我们还用到了二项分布的这种分解？什么地方我们还用到了二项分布的这种分解？1. 标准化部分和标准化部分和(规范和规范和) 对随机变量序列对随机变量序列 X1，X2， ，定义，定义部分和序列部分和序列 Sn = X1 + X2 + + Xn ，则它的则它的标准化部分和序列标准化部分和序列是指是指标准化部分和的期望是标准化部分和的期望是 0，方差是，方差是 1 。二二. 中心极限定理中心极限定理定理定理 5.1.3 (独立同分布的中心极限定理独立同分布的中心极限定理) 假设假设 X1，X2，是独立同分布随机变量组成是独立同分布随机变量组成的序列，期望的序列，期望 、方差、方差 2 都存在，则对于任意的都存在，则对于任意的实数实数 x，随机序列随机序列X1，X2，的标准化部分和的的标准化部分和的分布函数分布函数 Fn(x) 收敛到标准正态分布函数收敛到标准正态分布函数 (x)。即。即思考思考3 如何近似计算概率如何近似计算概率P ( Sn y )、P ( | Sn | y ) ？定理定理 5.1.4 (德莫佛德莫佛拉普拉斯中心极限定理拉普拉斯中心极限定理) 假设随机变量序列假设随机变量序列 X1，X2， 服从参数服从参数n、p 的二项分布，即的二项分布，即 Xn B(n, ,p) 。 则对于任意的实数则对于任意的实数 x ，有有因此，因此，k=ba Cnk pk qn k 例例5.1.2 抛掷一个均匀硬币抛掷一个均匀硬币 100 次，近似计算次，近似计算 正面出现的次数正面出现的次数X 介于介于 40 60 之间的概率。之间的概率。 解解. 练习练习4.1.11 中利用切比雪夫不等式已求出下界：中利用切比雪夫不等式已求出下界： P( 40 X 60) 0.75 。 因为因为 X B(100, ,0.5)，EX = 50, ,DX = 25，所以所以 P( 40 X 60) = P(2 2) (2) (2) = 20.9772 1 = 0.9544。 X 50 5练习练习5.1.3 利用中心极限定理近似计算例利用中心极限定理近似计算例2.2.3例例5.1.4 一套试题由一套试题由 100 个单项选择组成，每题个单项选择组成，每题1 分，分，4 个答案可选。假设某人只会做其中个答案可选。假设某人只会做其中 50 个题，剩下的个题，剩下的靠随机猜测，问最后他能够及格的概率是多少？靠随机猜测，问最后他能够及格的概率是多少？ 解解. 这个人能够及格，也就是他在不会做的这个人能够及格，也就是他在不会做的 50 分分 中至少要猜对中至少要猜对10 分。以分。以 X 记猜对的分数，则记猜对的分数，则 X B(50, ,0.25)，EX = 12.25, ,DX = 9.1875， p = P(X 10) = P( 0.74) 1 (0.74) = (0.74) = 0.7703 X 12.25 9.18751/2如何理解大数律与中心极限定理如何理解大数律与中心极限定理 大数律与中心极限定理讨论的都是随机大数律与中心极限定理讨论的都是随机 变量序列部分和的极限问题变量序列部分和的极限问题 大数律说明，在一定的条件下部分和大数律说明，在一定的条件下部分和 Sn 的的 算术平均的极限是一个常数算术平均的极限是一个常数 ( 共同的期望共同的期望 )。 中心极限定理说明，在一定的条件下部分和中心极限定理说明，在一定的条件下部分和 Sn 的极限分布是正态分布的极限分布是正态分布(标准化部分和的标准化部分和的 极限分布是标准正态分布极限分布是标准正态分布)。 考虑独立同分布的随机变量考虑独立同分布的随机变量X1，Xn， 定义这些随机变量的平均序列定义这些随机变量的平均序列 Yn = X1 + + Xn n 大数律只能告诉我们平均序列的极限是大数律只能告诉我们平均序列的极限是多少，而中心极限定理还可以给出平均序列多少，而中心极限定理还可以给出平均序列与这个极限的偏差有多大。与这个极限的偏差有多大。 例如，独立地抛掷一枚均匀骰子，以例如，独立地抛掷一枚均匀骰子，以 Xk 记记第第 k 次抛掷出来的点数。次抛掷出来的点数。n 次抛掷的平均点数：次抛掷的平均点数： Yn = X1 + + Xn n因为因为 Xk 的的期望是期望是3.5，方差，方差35/12， 当当 n 很大很大(即抛掷次数足够多即抛掷次数足够多)时，从大数律时，从大数律我们知道平均点数我们知道平均点数 Yn很接近很接近 3.5 ，或者是，或者是 n 次抛次抛掷的点数总和掷的点数总和 Sn = n Yn 很接近很接近 3.5n 。 而而中心极限定理的含义是：中心极限定理的含义是： | Sn 3.5 n | x (35n/12)0.5 的概率接近的概率接近 2 (x) 1 取取 n = 1000、x = 1，则我们可以肯定点数总和在则我们可以肯定点数总和在3450 3550 之间的概率大约是之间的概率大约是 0.68， 如果如果 x = 0.6744，则则1000次抛掷的点数总和在区间次抛掷的点数总和在区间350036 之内与在这个区间之外的可能大致相等。之内与在这个区间之外的可能大致相等。 “极限极限” 的含义不同的含义不同 大数律里的极限是指概率意义上的极限，大数律里的极限是指概率意义上的极限， 它在本质上是一种数列的收敛；它在本质上是一种数列的收敛； 中心极限定理的极限指的是分布函数的收敛，中心极限定理的极限指的是分布函数的收敛， 本质上是一种函数列的收敛。本质上是一种函数列的收敛。 从大数律知道从大数律知道“频率的极限是概率频率的极限是概率”； 从中心极限定理知道从中心极限定理知道“如果随机现象由大量独立如果随机现象由大量独立 随机因素总和组成，各个因素所起作用相对均匀随机因素总和组成，各个因素所起作用相对均匀 并且几乎可以忽略，则这种随机现象就可以近似并且几乎可以忽略，则这种随机现象就可以近似 地用正态分布来描述地用正态分布来描述”。 1. 教材教材 154 页页 第第 2 题题 ； 4. 教材教材 155 页页 第第 8 题题 。 2. 教材教材 154 页页 第第 3 题题 ； 3. 教材教材 155 页页 第第 6 题题 ；习题习题 5