第五章隐马尔可夫模型 HiddenMarkovModel 王侠徐州师范大学物理与电子工程学院2008年5月18日 一 HMM的由来二 马尔可夫性和马尔可夫链三 HMM实例四 HMM的三个基本算法 1 马尔可夫链2 马尔可夫模型1870年 俄国有机化学家VladimirV Markovnikov3 隐马尔可夫模型60年代末70年代初Baum等人建立的 一 HMM的由来二 马尔可夫性和马尔可夫链三 HMM实例四 HMM的三个基本算法 马尔可夫性 如果一个过程的 将来 仅依赖 现在 而不依赖 过去 则此过程具有马尔可夫性 或称此过程为马尔可夫过程X t 1 f X t 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链记作 Xn X n n 0 1 2 在时间集T1 0 1 2 上对离散状态的过程相继观察的结果链的状态空间记做I a1 a2 ai R 条件概率Pij m m n P Xm n aj Xm ai 为马氏链在时刻m处于状态ai条件下 在时刻m n转移到状态aj的转移概率 转移概率矩阵 阴天 晴天 下雨 晴天阴天下雨晴天0 500 250 25阴天0 3750 250 375下雨0 250 1250 625 转移概率矩阵 续 由于链在时刻m从任何一个状态ai出发 到另一时刻m n 必然转移到a1 a2 诸状态中的某一个 所以有当Pij m m n 与m无关时 称马尔科夫链为齐次马尔科夫链 通常说的马尔科夫链都是指齐次马尔科夫链 HMM的由来马尔可夫性和马尔可夫链HMM实例HMM的三个基本算法 HMM是一个输出符号序列的统计模型 具有 个状态S1 S2 SN 它按一定的周期从一个状态转移到另一个状态 每次转移时 输出一个符号 转移到哪一个状态 转移时输出什么符号 分别由转移概率和转移时的输出概率来决定 S1 S2 S3 例一 S1 S2 S3 S1 S1 S2 S30 3 0 8 0 5 1 0 0 6 0 5 0 036 S1 S2 S3 S1 S2 S2 S30 5 1 0 0 4 0 3 0 6 0 5 0 018 S1 S2 S3 S1 S1 S1 S30 3 0 8 0 3 0 8 0 2 1 0 0 01152 所以 输出aab的总概率是 0 036 0 018 0 01152 0 06552 例二 设有N个缸 每个缸中装有很多彩球 球的颜色由一组概率分布描述 实验进行方式如下根据初始概率分布 随机选择N个缸中的一个开始实验根据缸中球颜色的概率分布 随机选择一个球 记球的颜色为O1 并把球放回缸中根据描述缸的转移的概率分布 随机选择下一口缸 重复以上步骤 最后得到一个描述球的颜色的序列O1 O2 称为观察值序列O 在上述实验中 有几个要点需要注意 不能被直接观察缸间的转移从缸中所选取的球的颜色和缸并不是一一对应的每次选取哪个缸由一组转移概率决定 HMM概念 HMM的状态是不确定或不可见的 只有通过观测序列的随机过程才能表现出来观察到的事件与状态并不是一一对应 而是通过一组概率分布相联系HMM是一个双重随机过程 两个组成部分 马尔可夫链 描述状态的转移 用转移概率描述 一般随机过程 描述状态与观察序列间的关系 用观察值概率描述 Markov链 A 随机过程 B 状态序列 观察值序列 q1 q2 qT o1 o2 oT HMM的组成示意图 HMM的组成 HMM的基本要素 用模型五元组 S O A B 用来描述HMM 或简写为 A B HMM可解决的问题 问题1 给定观察序列O O1 O2 OT 以及模型 如何计算P O M 问题2 给定观察序列O O1 O2 OT以及模型M 如何选择一个对应的状态序列S S1 S2 ST 使得S能够最为合理的解释观察序列O 问题3 如何调整模型参数 使得P O M 最大 解决问题1前向方法 解决问题1前向法 定义前向变量初始化 递归 终结 计算步骤如下 1 给每个状态准备一个数组变量初始化时令初始状态S1的数组变量为1 其他状态数组变量为0 2 根据t时刻输出的观察符号ot计算 当状态Si到Sj没有转移时 0 3 当t T时 转移到 2 否则执行 4 4 把这时的终了状态的数组变量内的值取出 则 前向法示意图 N 5 M 100 计算量3000 计算量 乘法N N 1 T 1 N加法N N 1 T 1 状态1 状态2 状态3 a1 1 0 24 a1 2 0 5 a1 3 0 a2 1 0 00576 a2 2 0 18 a2 3 0 15 a3 3 0 0655 a a b 0 5 0 5 0 2 0 0 12 0 24 0 24 0 3 0 3 输出的观察符号序列 首先明确下列定义 给定模型入时 输出符号序列O的概率 从状态Si到状态Sj的转移概率 从状态Si到状态Sj发生转移时输出ot的概率 从状态Si开始到状态SN结束时输出部分符号序列的概率 即后向概率 解决问题1后向法 与前向法类似初始化 递推公式 最后结果 后向算法的计算量大约在N 2T数量级 根据前向和后向概率 Viterbi算法 目的 给定观察序列O以及模型 如何选择一个对应的状态序列S 使得S能够最为合理的解释观察序列O Viterbi算法叙述 1 初始化 2 递推公式 3 最后结果 Viterbi算法 续 Viterbi算法求取最佳状态序列的步骤 1 给每个状态准备一个数组变量 初始化时令初始状态S1的数组变量为1 其他数组状态的数组变量为0 2 根据t时刻输出的观察符号ot计算 3 当t T时 转移到 2 否则执行 4 4 把这时的终了状态寄存器内的值取出 则 状态Si转移到状态Sj的转移次数的 几种典型形状的HMM a 全连接的模型 A矩阵没有零值 b A矩阵有零值的模型c 有跨越的从左向右模型d 无跨越的从左向右模型 HMM的一些实际问题 1 下溢问题在每步递归运算时乘以一个定标因子2 参数初始化问题手工统计采用分段K均值算法3 训练数据不足的问题将两个模型整合 4 说话人的影响修正重估公式5 提高HMM描述语音动态特性的能力利用语音的相关信息