概率论与数理统计第一章第一章概率论的基本概念概率论的基本概念2 2样本空间、随机事件样本空间、随机事件1事件间的关系A B则称事件 B 包含事件 A，指事件 A 发生必然导致事件 B 发生A B x x A或xB称为事件 A 与事件 B 的和事件， 指当且仅当A，B 中至少有一个发生时，事件A B发生A B x x A且xB称为事件 A 与事件 B 的积事件，指当 A，B同时发生时，事件A B发生A B x x A且xB称为事件 A 与事件 B 的差事件，指当且仅当 A 发生、B 不发生时，事件A B发生A B ，则称事件 A 与 B 是互不相容的，或互斥的，指事件A 与事件 B 不能同时发生，基本事件是两两互不相容的A B S且A B ，则称事件 A 与事件 B 互为逆事件，又称事件A 与事件 B 互为对立事件2运算规则 交换律A B B AA B B A结合律(A B)C A(B C)(A B)C A(B C)分配律A （B C） (A B)(AC)A(B C) (A B)(AC)徳摩根律A B A BA B A B3 3频率与概率频率与概率定义在相同的条件下，进行了 n 次试验，在这 n 次试验中，事件 A 发生的次数nA称为事件 A 发生的频数频数，比值nAn称为事件 A 发生的频率频率概率：概率： 设 E 是随机试验， S 是它的样本空间， 对于 E 的每一事件 A 赋予一个实数， 记为 P （A） ，称为事件的概率1概率P(A)满足下列条件：（1）非负性非负性：对于每一个事件 A0 P(A) 1（2）规范性规范性：对于必然事件 SP(S) 1（3） 可列可加性可列可加性： 设A1, A2, , An是两两互不相容的事件， 有P(以取）2概率的一些重要性质：（i）P() 0A ) P(A )（n可kkk1k1nn（ii）若A1, A2, , An是两两互不相容的事件，则有P(A ) P(A )（n可以取）kkk1k1nn（iii）设 A，B 是两个事件若A B，则P(B A) P(B) P(A)，P(B) P(A)（iv）对于任意事件 A，P(A) 1（v）P(A) 1 P(A)（逆事件的概率）（vi）对于任意事件 A，B 有P(A B) P(A) P(B) P(AB)4 4 等可能概型（古典概型）等可能概型（古典概型）等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同若 事 件A包 含k个 基 本 事 件 ， 即A ei1ei2 eik， 里i1，i2, ，ik是1,2， n中某k个不同的数，则有P(A) Pei j j1k kA包含的基本事件数nS中基本事件的总数5 5条件概率条件概率（1）定义：设 A,B 是两个事件，且P(A) 0，称P(B | A) 件下事件 B 发生的条件概率条件概率（2）条件概率符合概率定义中的三个条件1 非负性：对于某一事件B，有P(B | A) 02 规范性：对于必然事件S，P(S | A) 13可 列 可 加 性 ： 设B1,B2,是 两 两 互 不 相 容 的 事 件 ， 则 有。P(AB)为事件 A 发生的条P(A)P(BiA ) P(BiA )i1i1（3）乘法定理设P(A) 0，则有P(AB) P(B)P(A| B)称为乘法公式（4）全概率公式：P(A) P(B )P(A| B )iii1n贝叶斯公式：P(Bk| A) P(Bk)P(A| Bk)P(B )P(A| B )iii1n6 6独立性独立性定义定义设 A，B 是两事件，如果满足等式P(AB) P(A)P(B)，则称事件 A,B 相互独立定理一设 A，B 是两事件，且P(A) 0，若 A，B 相互独立，则P(B | A) PB定理二若事件 A 和 B 相互独立，则下列各对事件也相互独立：A 与B， A与B， A与B第二章第二章随机变量及其分布随机变量及其分布1 1 随机变量随机变量定义设随机试验的样本空间为S e. X X(e)是定义在样本空间 S 上的实值单值函数，称X X(e)为随机变量2 2 离散性随机变量及其分布律离散性随机变量及其分布律1离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随机变量称为离散型随机变量P(X xk) pk满足如下两个条件（1）pk 0， （2）Pk=1k12三种重要的离散型随机变量（1）分布设 随 机 变 量X只 能 取0与1两 个 值 ， 它 的 分 布 律 是分布或两k1-kP(X k) p（1-p） ，k 0,1 （0 p 1)，则称 X 服从以 p 为参数的点分布。（2）伯努利实验、二项分布设实验E只有两个可能结果： A与A， 则称E为伯努利实验.设P(A) p （0 p 1)，此时P(A) 1-p.将 E独立重复的进行n 次， 则称这一串重复的独立实验为n重伯努利实验。nkn-kP(X k) （2）Pk=1 注意 n满足条件（1）pk 0，kp q，k 0,1,2，k1 kn-k（p q）的展开式中出现p的那一项，我们称随机变量 X 服从参数到 p q是二项式nknk为 n，p 的二项分布。（3）泊松分布设 随 机 变 量X所 有 可 能 取 的 值 为0,1,2 ， 而 取 各 个 值 的 概 率 为P(X k) ke-k!,k 0,1,2 ,其中 0是常数，则称 X 服从参数为的泊松分布记为X （）3 3 随机变量的分布函数随机变量的分布函数定义设 X 是一个随机变量，x 是任意实数，函数F(x) PX x,- x 称为 X 的分布函数分 布 函 数F(x) P(X x)， 具 有 以 下 性 质 (1)F(x)是 一 个 不 减 函 数（ 2 ）0 F(x) 1，且F() 0,F() 1（3）F(x 0) F(x),即F(x)是右连续的4 4 连续性随机变量及其概率密度连续性随机变量及其概率密度连续随机变量：如果对于随机变量X 的分布函数 F（x） ，存在非负可积函数f (x)，使对于任意函数 x 有F(x) x-f（t）dt,则称 x 为连续性随机变量， 其中函数 f(x)称为 X 的概率密度函数，简称概率密度1 概率密度f (x)具有以下性质，满足（1）f (x) 0,(2)（3）P(x1 X x2) -f (x)dx 1；x2x1，（4）若f (x)在点 x 处连续，则有F (x) f (x)f (x)dx；2,三种重要的连续型随机变量(1)均匀分布 1，a x b若连续性随机变量 X 具有概率密度f (x) b-a，则成 X 在区间(a,b)上服从0，其他均匀分布.记为X U（a，b）(2)指数分布1-xe若连续性随机变量 X 的概率密度为f (x) 0服从参数为的指数分布。（3）正态分布，x. 0，其他其中 0为常数，则称 X若连续型随机变量X的概率密度为f (x) 12e2(x）22， - x ，其中，（ 0)为常数，则称X服从参数为，的正态分布或高斯分布，记为X N（，2）特别，当 0，1时称随机变量 X 服从标准正态分布5 5 随机变量的函数的分布随机变量的函数的分布定理设随机变量 X 具有概率密度fx(x)， - x ,又设函数g(x)处处可导且恒有g,(x) 0， 则Y=g(X)是 连 续 型 随 机 变 量 ， 其 概 率 密 度 为fXh(y)h,(y), y fY(y) 0， 其他第三章第三章多维随机变量多维随机变量1 1 二维随机变量二维随机变量定义 设 E 是一个随机试验，它的样本空间是S e. X X(e)和Y Y(e)是定义在 S 上的随机变量，称X X(e)为随机变量，由它们构成的一个向量（X，Y）叫做二维随机变量设 （ X ， Y ） 是 二 维 随 机 变 量 ， 对 于 任 意 实 数x ， y ， 二 元 函 数F（x，y） P(X x)(Y y)记成PX x，Y y称为二维随机变量（X，Y）的分布函数如果二维随机变量（X，Y）全部可能取到的值是有限对或可列无限多对， 则称（X，Y）是离散型的随机变量。为二维离散型随机变量（X，Y）的分我们称P(X xi，Y yj) pij，i，j1,2，布律。对于二维随机变量（X，Y）的分布函数F（x，y），如果存在非负可积函数f（x，y） ，使对于任意 x，y 有F（x，y） yx-f（u，v）dudv，则称（X，Y）是连续性的随机变量，函数 f（x，y）称为随机变量（X，Y）的概率密度，或称为随机变量X 和 Y 的联合概率密度。联合概率密度。2 2 边缘分布边缘分布二维随机变量（X，Y）作为一个整体，具有分布函数F（x，y）.而 X 和 Y 都是随机变量，各自也有分布函数，将他们分别记为F（，依次称为二维随机变量（X，Y）（Xx),FYy）关于 X 和关于 Y 的边缘分布函数。边缘分布函数。pipij PX xi ，i 1,2， j1p jpij PY yi ，j 1,2， i1分别称pipj为（X，Y）关于 X 和关于 Y 的边缘分布律。边缘分布律。fX(x) f (x, y）dyfY(y) f (x, y）dx分别称fX(x)，fY(y)为 X，Y 关于 X 和关于 Y 的边缘概率密度边缘概率密度。3 3 条件分布条件分布定义设（X，Y）是二维离散型随机变量，对于固定的j，若PY yj 0,则称PX xiY yjPX xi,Y yjPY yjpijp j,i 1,2,为在Y yj条件下随机变量 X 的条件分布律， 同样PY yjX Xi为在X xi条件下随机变量 X 的条件分布律。PX xi,Y yjPX xipijpi, j 1,2,设二维离散型随机变量（X，Y）的概率密度为f (x,y)， （X，Y）关于 Y 的边缘概率密度为fY(y)，若对于固定的y，fY(y)0，则称f (x, y)为在 Y=y 的条件下 X 的条件概率fY(y)密度，记为fX Y(x y)=f (x, y)fY(y)4 相互独立的随机变量定义 设F（x，y）及FX(x)，FY(y)分别是二维离散型随机变量（X，Y）的分布函数及边缘分布函数.若对于所有 x,y 有PX x,Y y PX xPY y，即Fx, y FX(x)FY(y)，则称随机变量 X 和 Y 是相互独立的。对于二维正态随机变量（X，Y） ，X 和 Y 相互独立的充要条件是参数 05 5 两个随机变量的函数的分布两个随机变量的函数的分布1，Z=X+Y 的分布设(X,Y)是二维连续型随机变量，它具有概率密度f (x, y).则 Z=X+Y 仍为连续性随机变量，其概率密度为fXY(z) f (z y, y）dy或fXY(z) f (x,z x）dx又若 X 和 Y 相互独立，设（X，Y）关于 X，Y 的边缘密度分别为fX(x), fY(y)则fXY(z) fX(z y）f（fX(x）fY(z x)dx这两个公式称为Yy)dy和fXY(z) fX, fY的卷积公式卷积公式有限个相互独立的正态随机变量的线性组合仍然服从正态分布有限个相互独立的正态随机变量的线性组合仍然服从正态分布2，Z Y的分布、Z XY的分布XY，Z XYX设(X,Y)是二维连续型随机变量，它具有概率密度f (x, y)，则Z 仍为连续性随机变量其概率密度分别为fY X(z) x f (x,xz)dxfXY(z) 1zf (x, )dx又若 X 和 Y 相互独立，设（X，Y）关xx于 X，Y 的边缘密度分别为fX(x), fY(y)则可化为fY X(z) fX(x)fY(xz)dxfXY(z) 1zfX(x) fY( )dxxx3M maxX，Y及N minX,Y的分布设 X，Y 是两个相互独立的随机变量，它们的分布函数分别为FX(x),FY(y)由于M maxX，Y不大于 z 等价于 X 和 Y 都不大于 z 故有PM z PX z,Y z又由于 X 和 Y 相互独立，得到M maxX，Y的分布函数为Fmax(z) FX(z)FY(z)N minX,Y的分布函数为Fmin(z) 11 FX(z)1 FY(z)第四章第四章随机变量的数字特征随机变量的数字特征1 1数学期望数学期望定义设离散型随机变量离散型随机变量 X 的分布律为PX xk pk，k=1,2，若级数xk1kpk绝对收敛，则称级数xk1kpk的和为随机变量 X 的数学期望，记为E(X)，即E(X) xkpki设连续型随机变量连续型随机变量 X 的概率密度为f (x)，若积分xf (x)dx绝对收敛，则称积分xf (x)dx的值为随机变量 X 的数学期望，记为E(X)，即E(X) xf (x)dx定理设 Y 是随机变量 X 的函数 Y=g(X)(g 是连续函数)（i） 如果 X 是离散型随机变量离散型随机变量， 它的分布律为PX xk pk， k=1,2， 若pg(x ）kk1k绝对收敛则有E(Y) E(g(X) pg(x ）kk1k（ii）如果 X 是连续型随机变量连续型随机变量，它的分概率密度为f (x)，若有E(Y) E(g(X) g(x) f (x)dx绝对收敛则g(x) f (x)dx数学期望的几个重要性质1 设 C 是常数，则有E(C) C2 设 X 是随机变量，C 是常数，则有E(CX ) CE(X)3 设 X,Y是两个随机变量，则有E(X Y) E(X) E(Y)；4 设 X，Y 是相互独立的随机变量，则有E(XY) E(X)E(Y)2 2 方差方差定义设 X 是一个随机变量，若EX E(X)存在，则称EX E(X)为 X 的方22差，记为D（x）即 D（x）=EX E(X)，在应用上还引入量D(x)，记为(x)，称2为标准差或均方差。D(X) E(X E(X)2 E(X2) (EX)2方差的几个重要性质1 设 C 是常数，则有D(C) 0,2 设 X 是随机变量，C 是常数，则有D(CX) C D(X)，D(X C) D(X)3 设 X,Y 是两个随机变量，则有D(X Y) D(X) D(Y) 2E(X -E(X)(Y -E(Y)特别，若 X,Y相互独立，则有D(X Y) D(X) D(Y)4D(X) 0的充要条件是 X 以概率 1 取常数E(X)，即PX E(X) 1切比雪夫不等式切比雪夫不等式：设随机变量 X 具有数学期望E(X) ，则对于任意正数，不等式222PX -2成立3 3 协方差及相关系数协方差及相关系数定义量EX E(X)Y E(Y)称为随机变量 X 与 Y 的协方差为Cov(X,Y)，即Cov(X,Y) E(X E(X)(Y E(Y) E(XY) E(X)E(Y)而XYCov(X，Y）D(X) D(Y)称为随机变量 X 和 Y 的相关系数对于任意两个随机变量X 和 Y，D(XY) D(X) D(Y)2Cov(X,Y)_协方差具有下述性质1Cov(X,Y) Cov(Y, X), Cov(aX,bY) abCov(X,Y)2Cov(X1 X2,Y) Cov(X1,Y)Cov(X2,Y)定理12当XY1XY1的充要条件是，存在常数a,b 使PY a bx 1XY0 时，称 X 和 Y 不相关附：几种常用的概率分布表数学期望分布两点分布二项式分布泊松分布几何分参数分布律或概率密度方差0 p 1PX k) pk(1 p)1k,k 0,1，pp(1 p)kn 10 p 1P(X k) Cnpk(1 p)nk,k 0,1, n，npnp(1 p) 0P(X k) kek!,k 0,1,2,1p1 pp20 p 1P(X k) (1 p)k1p,k 1,2,布均匀分布指数分布正态分布a b1,a x b，f (x) b a0，其他a b2(b a)212 01xef (x) 0,x 0,其他(x)222 2 0f (x) 12e 2第五章第五章 大数定律与中心极限定理大数定律与中心极限定理1 1 大数定律大数定律弱大数定理（辛欣大数定理）弱大数定理（辛欣大数定理）设 X1，X2是相互独立，服从统一分布的随机变量序列，并1n具有数学期望E(Xk) (k 1,2, ).作前 n 个变量的算术平均Xk，则对于任意nk11n 0，有limPXk1nnk1定义设Y1,Y2, Yn是一个随机变量序列， a 是一个常数，若对于任意正数，有palimPYna 1，则称序列Y1,Y2, Yn依概率收敛于依概率收敛于 a a，记为Ynn伯努利大数定理伯努利大数定理设fA是 n 次独立重复试验中事件A 发生的次数， p 是事件 A 在每次试验中发生的概率， 则对于任意正数 0， 有limPnfnf p 1或limPn p 0nnn2 2 中心极限定理中心极限定理定理一（独立同分布的中心极限定理独立同分布的中心极限定理）设随机变量X1, X2, , Xn相互独立，服从同一2分布，且具有数学期望和方差E(Xi) , D(Xk) （k=1,2，） ，则随机变量之和Xi1nk标准化变量，YnXk1nk E(Xk)k1nnXi1nkn，D(Xk)k1n定理二（李雅普诺夫定理李雅普诺夫定理）设随机变量X1, X2, , Xn相互独立，它们具有数学期望和方差E(Xk) k, D(Xk) k 0,k 1,2记Bn22k1n2k定理三（棣莫弗棣莫弗- - 拉普拉斯定理拉普拉斯定理）设随机变量n(n 1,2, )服从参数为n, p(0 p 1）的二项分布，则对任意x，有limPnn npnp(1 p) xx12et2dt (x)2