EM算法原理分析EM算法最大似然估计一个栗子：假如你去赌场，但是不知道能不能赚钱，你就在门口堵着出来一个人就问一个赚了还是赔了，如果问了5个人都说赚了，那么你就会认为，赚钱的概率肯定是非常大的。已知：（1）样本服从分布的模型， （2）观测到的样本求解：模型的参数总的来说：极大似然估计就是用来估计模型参数的统计学方法最大似然数学问题（100名学生的身高问题）样本集X=x1,x2,xN N=100概率密度：p(xi|)抽到男生i（的身高）的概率是服从分布的参数独立同分布：同时抽到这100个男生的概率就是他们各自概率的乘积最大似然数学问题（100名学生的身高问题） 最大似然函数：（对数是为了乘法转加法） 什么样的参数 能够使得出现当前这批样本的概率最大已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。问题又难了一步现在这100个人中，不光有男生，还有女生（2个类别，2种参数）男生和女生的身高都服从高斯分布，但是参数不同（均值，方差）用数学的语言描述：抽取得到的每个样本都不知道是从哪个分布抽取的求解目标：男生和女生对应的身高的高斯分布的参数是多少加入隐变量用Z=0或Z=1标记样本来自哪个分布，则Z就是隐变量。最大似然函数：求解：在给定初始值情况下进行迭代求解EM算法两个硬币的初始假设的分布A：0.6几率正面 B：0.5几率正面投掷出5正5反的概率：pA=C(10,5)*(0.65)*(0.45)pB=C(10,5)*(0.55)*(0.55)选择硬币A的概率：pA/(pA+pB)=0.45选择硬币B的概率1- pA=0.55EM算法EM算法推导问题：样本集x(1),x(m)，包含m个独立的样本。其中每个样本i对应的类别z(i)是未知的，所以很难用最大似然求解。上式中，要考虑每个样本在各个分布中的情况。本来正常求偏导就可以了，但是现在log后面还有求和，这就难解了！EM算法推导 右式分子分母同时乘： 为嘛这么干呢？说白了就是要凑-Jensen不等式（ Q(z)是Z的分布函数）Jensen不等式设f是定义域为实数的函数，如果对于所有的实数x。如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。如果f是凸函数，X是随机变量，那么：Ef(X)=f(EX)实线f是凸函数，X有0.5的概率是a，有0.5的概率是b X的期望值就是a和b的中值了Jensen不等式Jensen不等式应用于凹函数时，不等号方向反向于由是 的期望假设则：Jensen不等式可得：结论：下界比较好求，所以我们要优化这个下界来使得似然函数最大优化下界 迭代到收敛Jensen不等式如何能使得等式成立呢？（取等号）：Jensen中等式成立的条件是随机变量是常数Q（z）是z的分布函数：所有的分子和等于常数C（分母相同）Q(z)求解由上式可得C就是p(xi,z)对z求和Q(z)代表第i个数据是来自zi的概率EM算法流程初始化分布参数E-step：根据参数计算每个样本属于zi的概率(也就是我们的Q)M-Step：根据Q，求出含有的似然函数的下界并最大化它，得到新的参数不断的迭代更新下去GMM（高斯混合模型）数据可以看作是从数个 Gaussian Distribution 中生成出来的GMM 由 K 个 Gaussian 分布组成，每个 Gaussian 称为一个“Component”类似k-means方法，求解方式跟EM一样不断的迭代更新下去