2.3 2.3 正态分布时的统计决策正态分布时的统计决策 n正态分布概率密度函数的定义及 性质 n多元正态概型下的最小错误率贝 叶斯判别函数和决策面 n单变量正态分布 n单变量正态分布概率密度函数定义为2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 2.3.12.3.1正态分布概率密度函正态分布概率密度函 数的定义及性质数的定义及性质 随机变量 x的期望2为x的方差标准差k=1 P(-k0，则为正定阵。n对于正定矩阵，各阶主子式非零（包括 |0）。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 多元正态分布的性质 n参数和对分布的决定性n等密度点的轨迹为一超椭球面 n不相关性等价于独立性 n边缘分布和条件分布的正态性n线性变换的正态性 n线性组合的正态性 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 参数和对分布的决定性 n多元正态分布被均值向量和协方差矩阵 所完全确定。n均值向量由d个分量组成;n协方差矩阵由于其对称性故其独立元素有p(x)N(,)n多元正态分布概率密度函数常记为2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 等密度点的轨迹为一超椭球面 n从正态分布总体中抽取的样本大部分落在由和所确 定的一个区域里。从一个以均值为中心的云团内的二 维高斯分布中取出的样本。椭圆显示了等概率密度的 高斯分布轨迹。 p(x)x2x112x1x2212.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 等密度点的轨迹为一超椭球面 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 等密度点的轨迹为一超椭球面 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 n当指数项为常数时，密度p(x)值不变，因此等密度点应是此式的指数项为常数的点，即应满 足n证明上式的解是一个超椭球面，且它的主轴方 向由阵的特征向量所决定，主轴的长度与相应 的协方差矩阵的本征值成正比。在数理统计中上式所表示的数量： 等密度点的轨迹为一超椭球面 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 n为x到的Mahalanobis距离的平方。所以等密 度点轨迹是x到的Mahalanobis距离为常数的超椭球面。这个超椭球体大小是样本对于均 值向量的离散度度量。n可以证明对应于Mahalanobis距离为的超椭球体积是n其中Vd是d维单位超球体的体积。等密度点的轨迹为一超椭球面 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 d为偶数d为奇数 对于给定的维数，样本离散度直接随 而变。 不相关性等价于独立性 n不相关与独立的定义：n若 Exi xj= ExiExj n则定义随机变量xi和xj是不相关的。n若 p(xi,xj)= p(xi) p(xj) n则定义随机变量xi和xj是独立的。 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 一般情况下相关与独立的关系n独立性是比不相关性更强的条件，独立性要求p(xi,xj)= p(xi) p(xj)对于xi和xj都成立。n不相关性是两个随机变量的积的期望等于两个 随机变量的期望的积，它反映了xi与xj总体的性 质。n若xi和xj相互独立，则它们之间一定不相关；反 之则不一定成立。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 多元正态分布情况n对多元正态分布的任意两个分量xi和xj而 言，若xi与xj互不相关，则它们之间一定独立。n在正态分布中不相关性等价于独立性。n就随机向量x=x1，x2，xnT进行证明。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 证明: n根据xi与xj互不相关的定义，可求得： i，j=1，2，d；ij因此协方差矩阵就成为对角阵2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 因此n重要推论：n如果多元正态随机向量x=(x1， xd)T的协方差阵是对角阵，则x的分量是相互独立的正态分布随机变量。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 边缘分布和条件分布的正态性n多元正态分布的边缘分布和条件分布仍 然是正态分布。n二元正态分布协方差矩阵及其逆矩阵- 1为 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 根据边缘分布定义2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 其中由于所以x1的边缘分布 就是说边缘分布p(x1)服从以均值为 方差为 的 正态分布。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 同理可以推出x2的边缘分布为n对于给定x1的条件下x2的分布，有定义 p(x2|x1) = p(x1,x2 ) / p(x1) 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 同理可以写出给定x2条件下x1的分布2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性变换的正态性 n多元正态随机向量的线性变换仍为多元 正态分布的随机向量。n设具有均值向量为，正定协方差矩阵为 的正态随机向量为x = x1,x2,xdT xEd2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性变换的正态性 n若对x用线性变换矩阵A(A是非奇异(|A|0)作线性变换，y = Ax n则y服从以均值向量为A，协方差矩阵为AAT的多元正态分布。即p(y)N(A，AAT)2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性变换的正态性 u随机向量的变换n设随机向量y是另一随机向量x的函数，即n若x、y的函数关系是一一对应的，则其概率 密度间满足下面关系2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性变换的正态性 n雅克比行列式J表示变换后体积微 元的变化，Yn坐标系 中体积微元 dy1dy2dyn=|J|dx1dx2 dxn。|J|表示J的绝 对值。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性变换的正态性 n当x和y只是线性变换时2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性变换的正态性 n此时，J=|A|，|A|表示矩阵A的行列式。从 而随机向量y的概率密度函数n|A|表示行列式|A|取绝对值。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性变换的正态性 设x的均值向量为，协方差矩阵为，则y 的均值向量为=E(y)=AE(x)=A，y的协方差阵为=E(y-)(y-)T)=AE(x-)(x-)TAT=AAT2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 证明： y = Ax， 即x=A-1y x的均值向量为，y的均值向量为 =A, 即=A-1 n根据雅可比行列式的定义，有 |J|=|A| x 变换 y，设变换矩阵A为非奇异阵，2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 证明： ny的概率密度函数与x的概率密度函数之间的关系为由于2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 即 p(y)N(A，AAT)n根据线性变换的正态性可以说明，用 非奇异阵A对x作线性变换后，原来的正态分布正好变成另一参数不同的正态分布。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 图中特征空间中的一个线性 变换将一个任意正态分布变 换成另一个正态分布。 变换A将原分布变成分布N（ AT，ATA)；另一个线性变 换，即由向量a决定的向某条 直线的投影P，产生沿该直线 方向的N(,2)分布。 尽管这些变换产生一个不同 空间中的分布，还是将它们 显示在原x1x2空间中。一种 白化变换，将产生一个圆周 对称的高斯分布。列向量是的正 交本征向量与本征值对应 的对角矩阵变换后的意义n由于是对称阵，根据线性代数知识总可 以找到某个A使得变换后y的协方差阵 AAT为对角阵，这就意味着y下的各个 分量间是相互独立的(性质的推论)，也 就是说总可以找到一组坐标系，使各随 机变量在新的坐标系中是独立的。n这一性质对解决某些模式识别问题有着 重要意义。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性组合的正态性 n若x为多元正态随机向量，则线性组合是一维的正态随机变量其中 是与x同维的向量。2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 线性组合的正态性 证明，利用性质作线性变换y=ATx，则p(y)N(AT，ATA)其中 为非奇异阵，A1为d(d1)维的矩阵， 。 2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 这时 n根据性质，y是服从以均值向量AT， 协方差阵ATA的多元正态分布。 又根据性质y的边缘分布的正态性，可以得出 服从正态分布，其概 率密度函数为2.3.12.3.1正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质 n根据最小错误率贝叶斯判别函数，在多 元正态概型(p(x|i)N(i，i),i=1,，c) 下就可以立即写出其相应的表达式。n判别函数为2.3.2 2.3.2 多元正态概型下的最小错多元正态概型下的最小错 误率贝叶斯判别函数和决策面误率贝叶斯判别函数和决策面 决策面方程为 即 2.3.22.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面n这种情况中每类的协方差矩阵都相等， 而且类内各特征间相互独立，具有相等 的方差。下面再分二种情况讨论。n先验概率P(i)与P(j)不相等n此时各类的协方差矩阵 第一种情况2.3.22.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面从几何上看，相当于各类样本落入在以i 为中心的同样大小的一些超球体内。由于 n由于上式中的第二、三项与类别i无关， 故可忽略，并将gi(x)简化为2.3.22.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面n判别函数gi(x)还可进一步简化： 是x的二次函数为x到类i的均值向量i的欧氏距离的平方。i =1，c2.3.22.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面忽略与i无关的xTx，则判别函数为 其