资源预览内容
第1页 / 共3页
第2页 / 共3页
第3页 / 共3页
亲,该文档总共3页全部预览完了,如果喜欢就下载吧!
资源描述
第一题 判断题(10分,每小题1 分)1 逻辑斯蒂回归模型可以用来做分类,但是SVM不能用来做回归。( )2 训练数据较少时更容易发生过拟合。( )3 如果回归函数A比B简单,则A一定会比B在测试集上表现更好。( )4 在核回归中,最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽度。( )5 在AdaBoost算法中,所有被错分的样本的权重更新比例相同。( )6 Boosting的一个优点是不会过拟合。( )7 梯度下降有时会陷于局部极小值,但EM 算法不会。( )8 SVM对噪声(如来自其他分布的噪声样本)鲁棒。( )9 经验风险最小化在一定条件下与极大似然估计是等价的。( )10 在回归分析中,最佳子集选择可以做特征选择;Lasso模型也可以实现特征选择。( )第二题 统计学习方法的三要素(10分)1. (5分)是一个函数空间,是上一个概率测度,是的一个子集(采样),请问:1 (2分)随着N增大而增大吗?为什么?2 (3分)随着H增大而增大吗?为什么?2. (5分) 比较感知机、逻辑斯蒂回归模型、AdaBoost和SVM的损失函数。第三题 产生式模型和判别式模型 (10分)1 (5分)解释产生式模型和判别式模型,并分析二者的不同点; 2 列出三种判别式模型(3分)和两种产生式模型(2分)第四题 EM and Naive Bayes (15分)1 (5分)概述EM算法的用途及其主要思想; 2 (10分)EM算法可以用到朴素贝叶斯法的非监督学习,写出其算法。第五题 HMM (10分)考虑盒子和球模型=(A,B,),状态集合Q=1,2,3,观测集合V=红,白,=(0.2,0.4,0.4)T设T=3,O=(红、白、红),试用前向算法计算P(O|).第六题 SVM(15分)考虑利用线性支持向量机对如下两类可分数据进行分类:+1:(1,1), (2,2), (2,0)-1:(0,0), (1,0), (0,1)1 (4分)在图中做出这6个训练点,构造具有最优超平面和最优间隔的权重向量;2 (3分)哪些是支撑向量?3 (8分)通过寻找拉格朗日乘子来构造在对偶空间的解,并将它与1中的结果比较。第七题 Logistic 回归模型(15分)如图1(a)所示,数据采用简化的线性logistic回归模型进行两类分类,即,为了简化,不采用偏差w0,训练数据可以被完全分开(训练误差为0,如图1(b)所示的L1)。1 (8分)考虑一个正则化的方法,即最大化,注意只有w2被惩罚。则当C 很大时,如图1(b)所示的4 个决策边界中,哪条线可能是由该正则方法得到的?L2、L3 和L4 可以通过正则w2得到吗?简要说明理由。2 (7分)如果我们将正则项给出L1 范式,即最大化,则随着 C 增大,下面哪种情形可能出现(单选) ?注:简要说明理由 (A) w1将变成0,然后w2 也将变成0。 (B)w2将变成0,然后w1也将变成0。 (C) w1和w2将同时变成0。 (D)两个权重都不会变成0,只是随着C的增大而减小为0。第八题 AdaBoost (15分)考虑如下图2所示的训练样本,其中X和O分别表示正样本和负样本。采用AdaBoost算法对上述样本进行分类。在Boosting的每次迭代中,选择加权错误率最小的弱分类器。假设采用的弱分类器为平行两个坐标轴的线性分类器。1 (4分)在图2中标出第一次迭代选择的弱分类器(L1),并给出决策面的+和-面。 2 (4分)在图2中用圆圈标出在第一次迭代后权重最大的样本,其权重是多少? 3 (4分)第一次迭代后权重最大的样本在经过第二次迭代后权重变为多少? 4 (3分)强分类器为弱分类器的加权组合。则在这些点中,存在被经过第二次迭代后的强分类器错分的样本吗?给出简短理由。
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号