语音识别基础 第五章基于统计模型 HMM 方式的语音识别技术 洪青阳副教授厦门大学信息科学与技术学院E mail qyhong 5 1基于统计模型框架的识别法 5 2隐马尔科夫模型 HMM 的概念 HMM HiddenMarkovModels 5 3HMM的三个基本问题 5 4基于HMM的语音识别方案 第五章基于统计模型 HMM 方式的语音识别技术 5 1基于统计模型框架的识别法 5 1 1预备知识 1 条件概率P A B P A B P A B P B P A B 表示A与B的联合概率 2 Bayes定理P A B P B A P A P B 3 事件的独立性P A B P A P B 5 1 2基于统计模型框架的识别法 5 2隐马尔科夫模型 HMM 的概念 5 2 1马尔科夫过程 5 2 2隐马尔科夫模型的概念 5 2 3HMM的要素及其模型描述 5 2 4基于HMM的观察符号序列的生成方式 5 3HMM的三个基本问题及其解法 5 3 1HMM三个基本问题 模型评估问题 如何求 P O 最佳路径问题 如何求 Q q1q2 qT 模型训练问题 如何求 A B 5 3 2模型评估问题的解法 5 3 3最佳路径问题的解法 5 3 4模型训练问题的解法 5 4基于HMM的语音识别方案 判决规则 VITERBI计算 VQ 码本 训练 识别 X X 特征矢量的时间序列O 基于VQ的观察符号序列 HMM 3 HMM 2 HMM 1 O 声学参数分析 预处理 语音信号输入 基于统计模型框架的识别法 1 语音识别问题的形式化描述 设 1 待识语音的特征模式 T t1 t2 tI 2 词汇表中第 个单词 W n 1 n N 3 当T被观察到后 与T对应的发声内容是单词W n 的概率 P W n T 语音识别问题的形式化描述 k argmax P W n T n 基于统计模型框架的识别法 2 声学模型与语言模型P W n T P T W n P W n P T k argmax P T W n P W n n模式匹配与统计模型 T 待识语音 模式匹配统计模型词汇表W k 1 k N词汇表W k 1 k N参考模式R k 1 k N参考模型M k 1 k N失真测度Dk D T R k 概率测度P T M k Dk DTW距离 P 由M k 生成T的概率判别n argmin Dk 判别n argmax P T M k 1 k N1 k N识别结果W n 识别结果W n 马尔科夫过程 语言的马尔科夫模型P Ci Cj P Ci P Cj Ci P Ci Cj Ck P Ci P Cj Ci P Ck Cj 天气的马尔科夫模型观察日期 12345678观察序列 O 晴晴晴雨雨晴多云晴状态转移序列 33311323状态输出概率P O P O P 3 3 3 1 1 3 2 3 P 3 P 3 3 P 3 3 P 1 3 P 1 1 P 3 1 P 2 3 P 3 2 1 雨天 隐马尔科夫模型的概念 双重随机过程 依存于状态的观察事件的随机性 状态转移的随机性观察序列 H 正面 T 反面 O o1 o2 oT H H T T HMM模型的要素及其模型描述 模型要素 1 N 模型中的状态数目 2 M 每个状态可能输出的观察符号的数目 3 A aij 状态转移概率分布 4 B bj k 观察符号的概率分布 5 i 初始状态概率分布模型描述 A B 基于HMM的观察符号序列的生成方式 当给定模型 A B 后 就可将该模型看成一个符号生成器 或称信号源 由它生成观察序列O o1o2 oT 其生成过程 也称HMM过程 是 1 初始状态概率分布 随机选择一个初始状态q1 Si 2 置t 1 3 按状态Si的符号概率分布bi k 随机产生一个输出符号ot Vk 4 按状态Si的状态转移概率分布aij 随机转移至一个新的状态qt 1 Sj 5 令t t 1 若t T 则返回步骤 3 否则结束过程 模型评估问题的解法 1 当给定模型 A B 以及观察序列O o1o2 oT时 计算模型 对观察序列O的P O 概率的思路是 穷举法 1 对长度为T的观察序列O 找出所有可能产生该观察序列O的状态转移序列Qj qj1qj2qj3 qjT j 1 2 J 2 分别计算Qj与观察序列O的联合概率P O Qj 2 取各联合概率P O Qj 的和 即 JP O P O Qj j 1 HMM模型的例子观察符号序列 abba所有可能的路径 1 S1 S1 S1 S2 S3 2 S1 S1 S2 S2 S3 3 S1 S1 S2 S3 S3 4 S1 S2 S2 S2 S3 5 S1 S2 S2 S3 S3 6 S1 S2 S3 S3 S3 模型评估问题的解法 2 P O 的一般解法 P O Qj P Qj P O Qj P Qj P qj1 P qj2 qj1 P qj3 qj2 P qjT qjT 1 aj0 1aj1 2aj2 3 ajT 1 TP O Qj P o1 qj1 P o2 qj2 P oT qjT b1j o1 b2j o2 b3j o3 bTj oT P O Qj aj0 1b1j o1 aj1 2b2j o2 ajT 1 TbTj oT JJTP O P O Qj ajt 1 tbtj ot j 1j 1t 1 HMM模型的例子 模型评估问题的前向算法 采用前向算法求解P abba 概率的格型图 Q q1q2q3q4O abba t 最佳路径问题的解法 0 5x0 2 0 5x0 8 0 2x1 0 0 6x0 5 0 5x0 2 0 5x0 2 0 5x0 2 0 5x0 8 0 5x0 8 0 5x0 8 0 4x0 5 0 4x0 5 0 4x0 5 0 4x0 5 0 4x0 5 0 6x0 5 0 6x0 5 0 8x1 0 0 8x1 0 0 2x1 0 采用Viterbi算法求解产生观察序列abba最佳路径的格型图 Q q1q2q3q4O abba t 最佳路径 S1 S2 S3 S3 S3