第三章：自适应滤波器内容1. 自适应滤波器原理2. 自适应线性组合器3. 均方误差性能曲面4. 最陡下降算法5. LMS算法6. RLS算法7. 典型应用：噪声消除自适应算法理论分析1。 自适应滤波原理自适应滤波原理1.学习和跟踪（时变信号）2.带有可调参数的最优线性滤波器两输入两输出Two inputs and two outputs; FIR,IIR, and 格形（Lattice） 最小均方误差和最小平方误差准则线性滤波器性能评价自适应方法输入信号输出信号期望响应误差滤波器参数通用自适应滤波器的基本原理3. 自适应滤波器的性能(1)失调量（Misadjustment）(2)计算复杂度（Computational plexity）(3)对时变统计量的跟踪能力(4)结构上：高模块性，并行性等（是否适合硬件实现）(5)收敛速度(6)数值特性：数值稳定性（对字长效应不敏感），数值精确性 (7)鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估计误差本章主要讨论自适应线性组合器（其分析和实现简单，在大多数自适应滤波系统中广泛应用）。多输入多输入自适应线性组合器2。 自适应线性组合器自适应线性组合器一类具有自适应参数的FIR数字滤波器。一般形式单输入单输入自适应线性组合器多输入单输入输入信号输入信号x的自相关矩阵的自相关矩阵R，期望信号，期望信号d和输入信号和输入信号x的互相关矩阵的互相关矩阵P3. 均方误差性能曲面均方误差性能曲面单权重情况单权重情况: 抛物线抛物线性能曲面两个权系数两个权系数: 抛物面抛物面权系数数目大于两个情况：超抛物面权系数数目大于两个情况：超抛物面 个权系数: 一个 维空间内的超抛物面 “碗底”点对应于均方误差最小点，也就是最优权系数矢量 所在的点。对于一个二次对于一个二次性能方程，存在唯一全局最优权矢量，没有性能方程，存在唯一全局最优权矢量，没有局部最优点存在局部最优点存在.梯度，最优权矢量和最小均方误差梯度，最优权矢量和最小均方误差 很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。均方误差性能曲面均方误差性能曲面的梯度梯度定义为：最优权重矢量最优权重矢量处梯度为零：最小均方误差：最小均方误差：与维纳滤波器的最小均方误差比较:The same equations背离矢量（背离最优权重）背离矢量（背离最优权重）均方误差性能方程可写为另一种形式：权重背离矢量权重背离矢量:在 坐标系统中的性能曲面方程为了使 对于所有可能的 值为非负，有必要使所有 满足 。 也就是说 必须是正定或者半正定。在实际的系统中，矩阵 总是正定的，有时半正定情况也会出现。梯度: 矢量 是权重矢量 对维纳最优权矢量 的背离。 任何背离都会导致均方误差的一个增加量4. 最陡下降法基本思想：搜索性能曲面理想情况下（梯度可知）: 使用基于梯度的方法（最陡下降法）实际情况（梯度多数不可知）: LMS方法（the Least-Mean-Square algorithm ） RLSRLS方法（方法（Recursive Least-Square AlgorithmRecursive Least-Square Algorithm）演示1: 基于梯度搜索均方误差曲面的最小点 为一个控制收敛速度和稳定性的常数称为自适应步长步长。演示2:方程两边同减最优权矢量几个不同形式的权重更新方程稳定和收敛条件：稳定和收敛条件：可证明：自适应过程的稳定性最优点:时间迭代:稳定条件:The deepest-descend method实际应用中选取:参数变更的回馈模型The deepest-descend method收敛速率滤波器参数的收敛速度决定于自滤波器参数的收敛速度决定于自适应步长的选择适应步长的选择在在主轴系统主轴系统中参数沿着各个参数中参数沿着各个参数坐标轴独立收敛。各个坐标轴的坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比收敛速度被各自的几何比 r 控制。控制。需要注意的是，需要注意的是，在自然坐标系中在自然坐标系中各个参数各个参数w w并不是独立收敛的并不是独立收敛的。这。这是我们为什么要变换坐标系到主是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。轴系统进行收敛分析的原因。几何比 r 和自适应步长对收敛的影响：稳定(收敛)过阻尼临界阻尼欠阻尼不稳定 (不收敛)几何比和自适应步长对收敛的影响：(1)权系数衰减时间常数(2)权系数衰减到初始值的 需要花费的时间。收敛速度：几个时间常数收敛速度：几个时间常数(2) 学习曲线时间常数学习曲线时间常数即均方误差与最小均方误即均方误差与最小均方误差的差值下降到初始差值差的差值下降到初始差值的的 时所花费的时间。时所花费的时间。(3) 自适应时间常数（用时间衡量学习曲线常数）注意最陡下降法具有更多的理论分析意义，实际操作时我们必须对其做很多近似。Least-Mean-Square Algorithm 最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。 LMS 方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的） LMS 方法的优势在于: (1) 计算简单方便 (2) 不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。5. LMS 方法方法LMS 方法推导方法推导使用单次计算的估计误差平方代替平方误差的期望。 LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。LMS 自 适 应 滤 波 器举例（2输入线性组合器）LMS方法对方法对梯度梯度的估计的均值为真实梯度的估计的均值为真实梯度估计量的期望值与真实梯度的偏差为0。所以为无偏估计最陡下降法LMS权矢量的均值权矢量的均值等于最陡下降法得到的权矢量等于最陡下降法得到的权矢量最陡下降LMS 单次最陡下降LMS 多次平均收敛条件收敛条件(1) 在最小均方误差点在最小均方误差点 附近的附近的梯度估计误差梯度估计误差(around )(梯度估计噪声 )权矢量噪声权矢量噪声(2)在最小均方误差点在最小均方误差点 附近的权矢量估计误差附近的权矢量估计误差(3)在最小均方误差点在最小均方误差点 附近的附近的权矢量噪声方差权矢量噪声方差 梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在 附近随机的改变。这个偏移量的期望值偏移量的期望值称为超量EMS失失 调调 量量 (1) 超量EMS（Mean-Square Error）(2) 失调量 M实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。 通常自适应过程在大概4倍学习曲线时间常数内基本结束。 因此，失调量可认为等于权重数目比上过渡时间权重数目比上过渡时间（4倍时间常数）。特殊情况下所有特征值都相等：特殊情况下所有特征值都相等：设计滤波器时的考虑设计滤波器时的考虑假设要求失调量小于10，则过渡时间应当比权重数目大10倍。6. 自适应的递归最小二乘方自适应的递归最小二乘方(RLS)算法算法维纳滤波器的一种时间递归时间递归形式(收敛速度快)n维纳滤波器nRLS 自适应滤波器遗忘因子新数据比旧数据更加重要自相关矩阵：互相关矢量:自相关矩阵逆的迭代形式：相关的递归递归形式形式A 和 B 是两个正定矩阵关于矩阵逆的一个定理滤波器增益矢量:误差信号方程:滤波器系数更新滤波器增益矢量:误差信号方程:输入信号:初始值:滤波器参数更新:相关矩阵逆更新:RLS 自适应方法7. 典型应用：噪声消除Adaptive FilterAdaptive algorithm参考信号输出输入信号（信号噪声）误差信号W没有回声控制的远程电视会议系统Applications使用自适应回声抵消器抵消回波ApplicationsRef.: B.Widrow and S.D. Stearns: Adaptive Signal Processing, Ch.12: Adaptive noise canceling: notch filter, B说话声音B声音回声