PRML Pattern Recognition And Machine Learning 读书会读书会第第五五次讲课次讲课 第四第四章章 Linear Models for Classification 主讲人主讲人 planktonli QQ 群群 177217565 planktonli 1027753147 19 52 28 现在我们就开始讲第四章 Xiaoming 50777501 19 52 58 planktonli 1027753147 19 53 02 planktonli 1027753147 19 53 04 第四章的内容是关于 线性分类模型 planktonli 1027753147 19 56 33 主要内容有四点 1 Fisher 准则的分类 以及它和最小二乘分类的关系 Fisher 分类是最小二乘分类的特例 2 概率生成模型的分类模型 3 概率判别模型的分类模型 4 全贝叶斯概率的 Laplace 近似 planktonli 1027753147 19 57 12 需要注意的是 有三种形式的贝叶斯 planktonli 1027753147 19 57 49 1 全贝叶斯 2 经验贝叶斯 3 MAP 贝叶斯 planktonli 1027753147 19 58 03 我们大家熟知的是 MAP 贝叶斯 planktonli 1027753147 19 58 27 MAP poor man s Bayesian 不涉及 marginalization 仅仅是一种按后验 概率最大化的 point estimate HX 458728037 19 58 27 在 planktonli 1027753147 19 59 05 这里的 MAP poor man s Bayesian 是属于 点概率估计的 planktonli 1027753147 19 59 52 planktonli 1027753147 20 00 40 而全贝叶斯可以看作对 test 样本的所有参数集合的加权平均 planktonli 1027753147 20 01 35 PRML 说的 Bayesian 主要还是指 Empirical Bayesian planktonli 1027753147 20 02 04 这里的为超参 planktonli 1027753147 20 02 37 Curve fitting 为例子 planktonli 1027753147 20 02 47 1 MLE 直接对 likelihood function 求最大值 得到参数 w 该方法属于 point estimation planktonli 1027753147 20 03 08 2 MAP poor man s bayes 引入prior probability 对 posterior probability 求最大值 得到 w MAP 此时相当于在 MLE 的目标函数 likelihood function 中 加 入 一 个L2 penalty 该 方 法 仍 属 于 point estimation planktonli 1027753147 20 03 16 3 fully Bayesian approach 需要使用 sum rule 和 product rule 因 为 degree of belief 的 machinery 和概率相同 因此这两个 rule 对 degree of belief 成立 而要获得 predictive distribution 又需要 marginalize sum or integrate over the whole of parameter s pace w planktonli 1027753147 20 03 39 planktonli 1027753147 20 03 49 其中 x 是待预测的点 X 是观察到的数据集 t 是数据集中每个数据点相应的 label 其实是用参数 w 的后验概率为权 对 probability 进行一次加权平均 因此这个过程需要对 w 进行积分 即 marginalization planktonli 1027753147 20 05 36 由于 marginalization 通常是非常难求取的 planktonli 1027753147 20 06 41 所以一般在针对Graphical Model的时候就需要 做 Laplace approximation Variation inferencce MCMC 采样这些 planktonli 1027753147 20 07 32 所以我们要建立的概念是 Graphical Model 的东西是一个需要 marginalization 的 planktonli 1027753147 20 07 59 这个是需要建立的一个概念 planktonli 1027753147 20 08 07 下面我们看看本讲的内容 planktonli 1027753147 20 09 13 首先 将上节的 LS Least Square 方法可以直接用于求分类问题 planktonli 1027753147 20 10 01 就可以得到 Least squares for classification planktonli 1027753147 20 10 49 planktonli 1027753147 20 10 54 planktonli 1027753147 20 11 48 planktonli 1027753147 20 12 38 Generalized Linear Model0 an activation function acting on a linear function of the feature variables planktonli 1027753147 20 13 03 planktonli 1027753147 20 13 52 Linear Model 对于回归和分类的区别在于 激活函数的不同 planktonli 1027753147 20 14 16 planktonli 1027753147 20 14 50 这里 sign 就是一个非线性的函数 其实是一个间断函数 非连续的 planktonli 1027753147 20 15 20 planktonli 1027753147 20 15 40 planktonli 1027753147 20 16 57 这里证明了 点到平面的距离公式 planktonli 1027753147 20 17 38 超平面 在一个 D 维 Euclidean space 中的 超 平面是一它的一个 D 1 维流 形 而且该空间是一个线性空间 Linearly separable 分布于 D 维空间中的全部数据点可以用超平面无错地分 隔成类 Coding scheme 1 of K binary coding scheme 即如果有 K 个类 某数据 点属于第 i 个类 则表示为一个 K 维向量 该向量除了第 i 个分量是 1 其余都 是 0 planktonli 1027753147 20 18 06 关于超平面 线性可分的一些概念 planktonli 1027753147 20 18 52 在多类情况 可以使用 1 对 1 1 对多分类器的方式 planktonli 1027753147 20 19 16 例如 你要分类 3 类物体 苹果 西瓜 香蕉 planktonli 1027753147 20 19 43 那么 1 对 1 就是建立 6 个分类器 漂流 1016861256 20 20 50 IBM SPSS Modeler 14 2 许可文件哪位有啊 谢谢 planktonli 1027753147 20 20 56 那么 1 对 1 就是建立 3 个分类器 苹果 西瓜 苹果 香蕉 西瓜 香蕉 planktonli 1027753147 20 21 44 1 对多分类器就是 苹果和非苹果 西瓜和非西瓜 香蕉和非香蕉 planktonli 1027753147 20 21 51 planktonli 1027753147 20 22 20 左边是 1 对 1 右边是 1 对多 planktonli 1027753147 20 22 43 左边是 1 对多 右边是 1 对 1 planktonli 1027753147 20 23 08 都存在一些无法分类的情况 也就是绿色区域 部分 planktonli 1027753147 20 23 37 planktonli 1027753147 20 24 02 planktonli 1027753147 20 24 33 多分类的决策域是单连通 而且是凸的 上面给出了证明 planktonli 1027753147 20 24 57 planktonli 1027753147 20 25 06 证明的图形示意 planktonli 1027753147 20 25 22 上面有没有问题 planktonli 1027753147 20 25 52 没有就继续讲 Fisher s Linear Discriminant 了 planktonli 1027753147 20 26 17 网络上的尼采 813394698 20 26 39 有问题的可以讨论下 echo 20 26 46 无法分类的情况一般怎么办 planktonli 1027753147 20 27 04 就是判断不出来的时候 echo 20 27 13 就是绿色区域了 planktonli 1027753147 20 27 35 恩 那就是可能出现判断错误了 planktonli 1027753147 20 27 48 这个没有办法 echo 20 28 12 哦 好的 pass planktonli 1027753147 20 28 54 好了 现在看看 Fisher s Linear Discriminant planktonli 1027753147 20 29 45 Linear Discriminant Analysis LDA 也叫做 Fisher 线性判别 planktonli 1027753147 20 30 38 这个要和 Graphical Model 的 Latent Dirichlet allocation 区分开 planktonli 1027753147 20 31 05 我个人认为 LDA 可以看成一个有监督降维的东西 planktonli 1027753147 20 32 10 这些 PCA 主成分分析 ICA 独立成分分析 也是降低维的 planktonli 1027753147 20 32 35 不过是无监督的东西 包括 mainfold dimension reduction 的 planktonli 1027753147 20 32 40 都是无监督的 planktonli 1027753147 20 33 49 LDA 是降低到一个投影方向上 使得它的可分性最好 而 PCA 是要找它的主要成分也就是使得 Loss 最小的饿方向 planktonli 1027753147 20 34 35 LDA 要求 类间散度最大 类内聚合度最强 planktonli 1027753147 20 35 15 planktonli 1027753147 20 35 44 类间散度最大 是通过它们的均值距离体现的 planktonli 1027753147 20 36 19 而 类内聚合度最强 是通过 类内的点到均值的散的程度表达的 planktonli 1027753147 20 37 01 planktonli 1027753147 20 40 35 也就是说 Fisher