第二章：随机变量n n上节课内容上节课内容n n概率理论概率理论n n概率公理及推论概率公理及推论n n随机事件之间的关系：条件概率、独立随机事件之间的关系：条件概率、独立/ /条件独立、贝叶斯公式条件独立、贝叶斯公式n n本节课内容本节课内容n n随机变量及其分布随机变量及其分布n n随机变量变换随机变量变换n n常见分布族常见分布族n n多元随机向量的分布多元随机向量的分布n n联合分布、边缘分布、条件分布、独立联合分布、边缘分布、条件分布、独立1随机变量n n统计推断是与数据相关的统计推断是与数据相关的。随机变量随机变量就是将样本空间就是将样本空间/ /随随机机事件与数据之间联系起来的纽带事件与数据之间联系起来的纽带n n随机变量随机变量是一个映射是一个映射 ，将一个实数值，将一个实数值 赋给一个试验的每一个输出赋给一个试验的每一个输出n n例例2.22.2：抛：抛1010次硬币，令次硬币，令X X( ( ) )表示序列表示序列 中正面向上的次中正面向上的次数，如当数，如当 = HHTHHTHHTT = HHTHHTHHTT，则，则 X X( ( ) = 6) = 6。2随机变量的概率描述n n事件的概率事件的概率 随机变量的概率描述随机变量的概率描述n n给定一随机变量给定一随机变量X X及实数子集及实数子集A A，定义，定义 n n例例2.42.4：抛：抛2 2次硬币，令次硬币，令X X表示正面向上的次数，则表示正面向上的次数，则其中X表示随机变量，x表示X可能的取值 PP( )X X( ( ) )TTTT1/41/40 0THTH1/41/41 1HTHT1/41/41 1HHHH1/41/42 2x xPP( (X X= =x x) )0 01/41/41 11/21/22 21/41/43随机变量的分布函数n n随机变量随机变量X X的的累积分布函数累积分布函数累积分布函数累积分布函数 (cumulative distribution function, CDF) (cumulative distribution function, CDF) 定义为定义为n nCDFCDF是一个非常有用的函数：包含了随机变量的所有信息。是一个非常有用的函数：包含了随机变量的所有信息。 CDFCDF的性质：略的性质：略 （见书）（见书）n n 有时记为F4例：随机变量的CDFn n例例2.62.6：公正地抛硬币：公正地抛硬币2 2次，令次，令X X表示正面向上的次数，则表示正面向上的次数，则n nCDFCDFn n右连续、非减函数右连续、非减函数n n对所有实数对所有实数x x都有定义都有定义n n虽然虽然随机变量只取随机变量只取0 0、1 1、2 25离散型随机变量的概率函数n n离散型随机变量的离散型随机变量的概率函数概率函数概率函数概率函数 ( (probability functionprobability function or or probability mass functionprobability mass function, pmf), pmf)定义为定义为n n对所有的对所有的n n n nCDFCDF与与pmfpmf之间的关系为之间的关系为：有时记为 f6例：离散型随机变量的pmfn n例例2.102.10：公正地抛硬币：公正地抛硬币2 2次，令次，令X X表示正面向上的次数，表示正面向上的次数，则则n n概率函数为：概率函数为：7连续型随机变量的概率（密度）函数n n对连续型随机变量对连续型随机变量X X，如果存在一个函数，如果存在一个函数 ，使得对所有，使得对所有的的x x， ，且对任意，且对任意 有有n n则函数则函数 被称为被称为概率概率概率概率密度密度函数函数函数函数 ( (probability density probability density functionfunction, pdf), pdf)。n nCDFCDF与与pdfpdf之间的关系：之间的关系：n n n n 在所有在所有 可微的点可微的点x x，则，则注意： 是可能的8例：连续型随机变量的CDF和pmfn n例例2.122.12：设：设X X有有PDF:PDF:n n显然有显然有n n有该密度的随机变量为有该密度的随机变量为(0,1)(0,1)上的均匀分布：上的均匀分布：Uniform(0, 1)Uniform(0, 1)，即在即在0 0和和1 1之间随机选择一个点。之间随机选择一个点。n n其其CDFCDF为：为：9分位函数 (quantile function)n n令随机变量令随机变量X X的的CDFCDF为为F F，CDFCDF的反函数或分位函数的反函数或分位函数(quantile function)(quantile function)定义为定义为n n其中其中 。若。若F F严格递增并且连续，则严格递增并且连续，则 为一个唯为一个唯一确定的实数一确定的实数x x，使得，使得 。n n 为增函数为增函数n n中值中值(median)(median)：n n一个很有用的统计量，对噪声比较鲁棒一个很有用的统计量，对噪声比较鲁棒10随机变量的变换n nX X：老的随机变量，：老的随机变量，n nY Y：新的随机变量，：新的随机变量，n n离散：离散：11离散型随机变量的变换n n例例2.452.45：假设假设n nY Y的取值比的取值比X X少少，因为该变换不是一一映射。，因为该变换不是一一映射。x xf fX X(x(x) )-1-11/41/40 01/21/21 11/41/4y yf fY Y(y(y) )0 01/21/21 11/21/212连续型随机变量的变换n nCDFCDF方法方法变换的三个步骤变换的三个步骤1. 1.对每个对每个y y，计算集合，计算集合2. 2.计算计算CDFCDF3. 3.PDFPDF为为 13连续型随机变量的变换n n当当r r为单调增函数为单调增函数/ /减函数，定义减函数，定义r r的反函数的反函数 ，则，则n n当当X X、Y Y存在存在一一映射一一映射时，上述结论仍可用时，上述结论仍可用JacobianJacobian方法方法n n分区间：在每个分区间：在每个 区间内为单调函数，可分区间利用上述结论区间内为单调函数，可分区间利用上述结论1415例：连续型随机变量的变换n n例例2.462.46：n n则则n n令令n n则则n n或直接用或直接用JacobianJacobian方法方法16例：连续型随机变量的变换n n例：例： 概率积分变换概率积分变换 X X有连续有连续CDF CDF ，定义随机变量，定义随机变量Y Y为为 ，则，则Y Y为为0,10,1上的均匀分布，即上的均匀分布，即n n对随机数产生特别有用（对随机数产生特别有用（Chp2Chp2第第1515题）题）170.51.0018常见分布族n n离散型随机变量离散型随机变量 Ch2, p25Ch2, p25n n均匀均匀(Uniform)(Uniform)分布分布n n贝努利贝努利(Bernoulli)(Bernoulli)分布分布n n二项二项(Binnomial)(Binnomial)分布分布 n n超几何超几何(HyperGeometric)(HyperGeometric)分布分布n n几何几何(Geometric)(Geometric)分布分布n n泊松泊松(Possion)(Possion)分布分布n n连续型随机变量连续型随机变量 Ch2, p27Ch2, p27n n均匀均匀(Uniform)(Uniform)分布分布n n正态正态(Normal)(Normal)分布分布n nGammaGamma分布分布n nBetaBeta分布分布n n 分布分布n n指数指数(Exponential)(Exponential)分布分布19常见分布族n n每个分布族每个分布族n npdf/pmfpdf/pmf形式形式n n参数参数n n典型应用典型应用n n均值、方差均值、方差20正态分布n n亦称高斯分布，亦称高斯分布，n n : : 位置（位置（locationlocation）参数）参数n n : : 尺度（尺度（scalescale）参数）参数n n如图像处理中的多尺度分析如图像处理中的多尺度分析21正态分布n n最重要的分布之一最重要的分布之一n n在实际遇到的许多随机现象都服从或近似服从正态分布在实际遇到的许多随机现象都服从或近似服从正态分布 n n如考试成绩如考试成绩n n 中心极限定理：随机样本的均值近似服从正态分布中心极限定理：随机样本的均值近似服从正态分布n n 对任意对任意IIDIID样本样本 ，则，则 22标准正态分布n n当当 时，正态分布称为标准正态分布，通常时，正态分布称为标准正态分布，通常用用Z Z表示服从标准正态分布的变量，记为表示服从标准正态分布的变量，记为 。n npdfpdf和和CDFCDF分别记为分别记为n n标准化变换：标准化变换：n n若若 ，则，则n n若若 ，则，则n n正态分布的线性组合仍是正态分布：若正态分布的线性组合仍是正态分布：若 是独立的，则是独立的，则23二元随机向量的联合分布n n离散型随机变量的联合分布：令离散型随机变量的联合分布：令X X、Y Y为一对离散型随机变为一对离散型随机变量，联合概率函数量，联合概率函数(pmf)(pmf)定义为定义为n n联合概率分布函数联合概率分布函数(CDF)(CDF)为：为：(X, Y)：随机向量24n n例例2.182.18：对如下有两个随机变量的二元分布，变量：对如下有两个随机变量的二元分布，变量X X和和Y Y取值为取值为0 0、1 1， n n则则 。12/31/32/35/92/9X=11/32/91/9X=0Y=1 Y=0联合分布边缘分布25二元随机向量的联合分布n n连续型随机变量的联合分布：令连续型随机变量的联合分布：令X X、Y Y对一对连续型随机变对一对连续型随机变量，联合概率密度函数量，联合概率密度函数(pdf)(pdf)定义为定义为n n n n n n对任意集合对任意集合n n联合概率分布函数联合概率分布函数(CDF)(CDF)为：为：26边缘分布n n离散型随机变量：离散型随机变量：27边缘分布n n连续型随机变量：连续型随机变量：联合分布包含了随机向量概率分布的信息联合分布唯一确定了边缘分布，但反之通常不成立28独立n n n n PDF可以因式分解29独立30随机变量之间的关系n n独立独立n n 当且仅当当且仅当n n不独立：随机变量之间的关系用条件分布描述不独立：随机变量之间的关系用条件分布描述n n条件分布：条件分布：31条件分布n n离散型随机变量离散型随机变量的条件概率函数的条件概率函数：n n对连续型随机变量，条件概率定义相同，但解释不同对连续型随机变量，条件概率定义相同，但解释不同第一节课中随机事件的条件概率：32条件分布n n n n给定变量给定变量Y Y时，在时，在 X X上的概率分布上的概率分布n n对对Y Y的每个可能取值，对的每个可能取值，对X X都定义有一个概率分布都定义有一个概率分布n n 是一个概率分布，满足概率分布的所有性质，如是一个概率分布，满足概率分布的所有性质，如33例：条件分布34联合分布、边缘分布与条件分布n n边缘分布与联合分布：边缘分布与联合分布：n n条件分布与边缘分布、联合分布：条件分布与边缘分布、联合分布：n n联合分布与条件分布、边缘分布：联合分布与条件分布、边缘分布：35条件概率 链规则（Chain Rule）n n n n链规则链规则n n或或36贝叶斯规则贝叶斯规则似然似然先验先验后验后验37贝叶斯规则中的边缘化n n给定给定 和和 ，推导，推导n n经常使用经常使用贝叶斯规则的归一化因子贝叶斯规则的归一化因子 n n通过边缘化，通过边缘化，已知已知?38边缘分布n n通过使用通过使用 (1) (1) 边缘化边缘化和和 (2) (2) 链规则链规则，给定，给定 ，可，可以计算：以计算：n n n n n n n n 39条件独立n n（绝对）独立：（绝对）独立：n n n n n n给定给定Y Y，不会对，不会对X X增加任何信息增加任何信息n n条件独立：若在给定条件独立：若在给定Z Z的情况下，的情况下，X X与与Y Y条件独立，则条件独立，则n n n n n n一旦已知一旦已知Z Z，Y Y不会对不会对X X提供额外的信息提供额外的信息n n例：例：40联合概率n n联合概率：联合概率：n n定义了所有可能状态的概率定义了所有可能状态的概率n n二值变量的情况下有二值变量的情况下有 项项n n用用 个独立变量表示个独立变量表示n n非二值变量非二值变量? ?n n如果这些变量是独立的，则如果这些变量是独立的，则n n n n对二值变量，用对二值变量，用n n个独立变量表示个独立变量表示个独立变量表示个独立变量表示n n非非二值变量二值变量二值变量二值变量? ?41联合概率n n若有些变量是条件独立的话，联合概率可以用少若有些变量是条件独立的话，联合概率可以用少于于 个变量表示个变量表示n n例：例：n n n n但若但若Y Y和和WW 在给定在给定X X下独立，且下独立，且Z Z和和WW、X X在给定在给定Y Y下下独立，独立，则则n n n n真实问题通常是这样的，真实问题通常是这样的，贝叶斯网络贝叶斯网络就是利用了就是利用了条件独立的性质条件独立的性质42链规则推广n n条件概率的定义条件概率的定义n n递归定义：递归定义：2n1 2 4 2n-1 对二值变量对二值变量43多元随机向量的分布n n令随机向量令随机向量 ，其中，其中 为随机变量，为随机变量，用用 表示表示X X的的pdf/pmfpdf/pmf，先前讨论的关于二元，先前讨论的关于二元随机向量分布的结论都可以推广到多元随机向量，如可随机向量分布的结论都可以推广到多元随机向量，如可以定义边缘分布、条件分布等以定义边缘分布、条件分布等n n当随机向量当随机向量 互相独立时，互相独立时，n n随机向量相互独立随机向量相互独立两两独立，但反之不成立两两独立，但反之不成立 44IID（Independent Identically Distribution）样本n n当当 互相独立且有相同的边缘分布互相独立且有相同的边缘分布F F时，记为时，记为 ，我们称，我们称 为独立为独立同同分布（分布（ Independent Independent Identically Distribution,Identically Distribution, IIDIID）样本样本，表示，表示 是从相同分布独立抽样是从相同分布独立抽样/ /采样，我们也称采样，我们也称 是分布是分布F F的随机样本。若的随机样本。若F F有密度有密度f f，也可记为，也可记为 ，样本大小为，样本大小为n nn n思考题：怎样对任意分布思考题：怎样对任意分布F F进行采样（得到多个独立同分进行采样（得到多个独立同分布的样本）？布的样本）？45常见多元分布n n多元二项分布多元二项分布n n多元正态分布多元正态分布46多元二项分布n n二项分布的多元变量版本二项分布的多元变量版本n n n n其中其中n n例：例：从箱子中共从箱子中共k k中颜色的球，中颜色的球， 为抽取到颜色为抽取到颜色j j的概率，的概率，共抽取共抽取n n次，令次，令 为颜色为颜色j j出现的次数，则出现的次数，则47多元二项分布n n边缘分布：若边缘分布：若 ， 其中其中 且且 ，则，则 的边缘分布为的边缘分布为 48多元正态分布n n令令 ，其中，其中 且互相独立且互相独立n n则则n nZ Z的协方差矩阵为单位矩阵的协方差矩阵为单位矩阵I I，记为记为 。49多元正态分布n n 更一般地，更一般地，n n n n n n其中其中 表示矩阵的行列式，表示矩阵的行列式， 为均值向量，协方为均值向量，协方差矩阵差矩阵 为一个对称的正定矩阵为一个对称的正定矩阵 50多元正态分布n n多元正态分布有如下性质：多元正态分布有如下性质：n n1 1、若、若 且且 ，则，则n n2 2、若、若 ，则，则n n3 3、若、若 ，a a为与为与X X相同相同长度的向量，则长度的向量，则51随机向量的变换n n令令 ，求，求1. 1. 对每个对每个z z，计算集合，计算集合2. 2. 计算计算CDFCDFn n3. PDF3. PDF为为 n n例例 2.482.4852随机向量的变换n n n n令集合令集合n n集合集合n n且且A A、B B存在存在一一映射一一映射时，可利用时，可利用JacobianJacobian方法计算方法计算n n定义反变换定义反变换 ，变换的，变换的JacobianJacobian为为n n( (U U, ,V V) )的联合分布为的联合分布为思考题：求两个正态分布的和与乘积的分布53下节课内容n n作业：作业：n nChp2Chp2：第：第4 4、7 7、1414、1515题题n n下下节课内容节课内容n n期望、方差期望、方差n n样本均值、样本方差样本均值、样本方差n n层次模型层次模型n n补充教材补充教材 CBp162-168 CBp162-16854