2020 5 23 1 维纳滤波与自适应滤波最小均方自适应滤波算法递归最小二乘自适应滤波最小二乘格形自适应滤波自适应滤波器的应用自适应盲信号处理简介 第五章自适应滤波 2020 5 23 2 问题的描述 滤波器的输入信号为x n 其单位冲激响应为h n 现要求滤波器的输出y n 是对需要信号d n 的一个最佳估计 使它的输出y n 按一定的最佳准则能最佳地估计需要信号d n 当最佳准则为最小均方误差 MMSE 准则 所得最佳滤波器称之为维纳 Wiener 滤波器 一线性最佳滤波问题 2020 5 23 3 图1 M个权系数 抽头 的横向滤波器定义 输入信号 输入向量 1自适应横向滤波器结构 2020 5 23 4 2自适应横向滤波器的学习过程和工作过程 实际的滤波器系统通过控制开关K1和K2 使系统进入不同的工作模式 2020 5 23 5 开关K1打向A1 K2打向A2 进入学习过程 求得最优权向量开关K1打向B1 K2打向B2 进入工作过程 对输入信号进行滤波处理求出滤波器权值的学习过程是最优滤波问题的关键 2020 5 23 6 二 横向滤波器的误差性能曲面 1 误差性能曲面的推导 2020 5 23 7 对实系统 若M 1若M 2 是抛物面对于任何的M 是M维的抛物面 具有唯一的全局极小值点 是开口向上的抛物线可选择权值w使最小 2020 5 23 8 二 横向滤波器的误差性能曲面 2020 5 23 9 二 横向滤波器的误差性能曲面 2020 5 23 10 1 旋转坐标系v是超椭圆的主轴坐标系统 2 主轴向量vn是相关矩阵R的特征向量 3 输入信号的自相关矩阵R的特征值给出了误差性能曲面沿主轴的二阶导数值 2 性能曲面的性质 2020 5 23 11 三 块估计与递推估计 块估计 将长度为N的输入数据分块 每块长度为M 对每块分别计算R和p 从而分别计算权系数w 块估计的问题 输入数据的非平稳性与准确计算每块R和p的矛盾 忽视了数据间的相关性 增加了不必要的计算量 递推估计的基本思想 记基于x 1 x 2 x k 1 设计的Wiener滤波器权系数矢量为 2020 5 23 12 则基于x 1 x 2 x k 1 x k 设计的Wiener滤波器权系数矢量为 三块估计与递推估计 2020 5 23 13 四 自适应滤波器 1 基本概念 1 自适应滤波 AF 的定义 在缺乏先验统计知识的情况下 能自动调整滤波器参数 自我学习 的最优滤波器 算法形式为迭代计算 2 AF的分类 按每次迭代时的输入输出关系分 线性与非线性 按最优准则分 最小均方误差AF 统计自适应最小二乘AF 确定性自适应 按变量域分 时域 频域 变换域 空域 阵列处理 2020 5 23 14 按滤波器类型分 FIR IIR 横滤波器 线性组合器 格形滤波器 脉动阵列 3 AF的组成 参数可调的滤波器 其参数受自适应算法控制 随着每次迭代而不断改变的时变滤波器 其功能是对每时刻输入产生输出响应 自适应迭代算法 根据每时刻滤波器的输出提供下一时刻滤波器参数的一种算法 机制 1自适应滤波器基本概念 2020 5 23 15 1 性能指标 衡量AF优劣应考虑如下因素 收敛速率 迭代收敛于最优解的迭代次数 失调量 收敛后的均方误差与最优 小 均方误差的偏离程度 跟踪能力 在非平稳条件下 跟踪最优解变化的能力 鲁捧性 对任何类型输入或扰动的适应性 2自适应滤波器性能指标 2020 5 23 16 计算要求 计算量 每次迭代所需要的计算量 常以乘法和加法次数为代表 存储量 所要求的存储数据和程序的大小 算法编程上的其它计算机投资 结构 算法的信息流结构及硬件实现的方式 并行算法 模块化等 数值特性 算法对数值量化效应的敏感程度 2自适应滤波器性能指标 2020 5 23 17 2自适应滤波器性能指标 根据实际应用的要求和费效比最低原则 折衷取舍以上指标 可以从最简单的LMS算法出发 应充分考虑各种应用的特殊性 各类算法的优缺点 针对具体应用选用最佳算法 2 如何选择AF 2020 5 23 18 5 2最小均方自适应滤波算法 最陡下降法LMS算法LMS牛顿算法归一化LMS算法变换域块LMS算法 2020 5 23 19 5 2 1最陡下降法 1基本思想 1 依据 wiener滤波器的均方误差曲面J w 是权矢量w的二次函数 不存在局部最小点 2 方法 从任意初始值w 0 出发 沿J w 的负梯度方向 最陡下降方向 按一定步长进行迭代搜索至最小点 3 算法公式推导 2020 5 23 20 5 2 1最陡下降法 2020 5 23 21 2稳定性分析 迭代收敛条件 1 旋转平移变换 2020 5 23 22 2 权矢量收敛条件 2稳定性分析 迭代收敛条件 2020 5 23 23 3 权矢量收敛时间常数 2稳定性分析 迭代收敛条件 2020 5 23 24 3均方误差的瞬态特性 学习曲线 2020 5 23 25 1 基本关系式 为加快收敛 取尽可能大的步长 令 2 实验研究 输入信号为二阶AR过程 固定步长 改变R的特征值散布 固定特征值散布 改变步长 4R的特征值散布对收敛性的影响 2020 5 23 26 4R的特征值散布对收敛性的影响 2020 5 23 27 4R的特征值散布对收敛性的影响 2020 5 23 28 4R的特征值散布对收敛性的影响 2020 5 23 29 4R的特征值散布对收敛性的影响 2020 5 23 30 权矢量随n变化的轨迹在每个时刻n都正交于J n 等高线 当两特征值越接近相等时 输入各分量越不相关时 权矢量随n变化的轨迹越接近直线 收敛越快 当旋转平移后的权矢量初值位于坐标轴上时 权矢量的变化轨迹为直线 轨迹沿坐标轴 收敛快 5结论 2020 5 23 31 对于固定步长 R特征值散布越大 输入各分量越相关 则收敛后的最小均方误差越小 即作为预测器效果越好 随步长的增加 收敛过程加快 但步长增大到一定程度 与R的特征值散布有关 在接近最优点时将出现振荡现象 可用各种变步长算法抑制 5 2 1最陡下降法 除上述两特殊情况外 权矢量随n变化的轨迹一般为曲线 并且对于固定的步长 其弯曲程度随R特征值散布的加大而加剧 即收敛越慢 可用正交化算法改善 2020 5 23 32 5 2 2LMS算法 1问题的提出 在实际中是无法得到的 因而只能用估计值代替 使用P和R的瞬时估计就得到LMS算法 SD算法的不足 最陡下降法的迭代公式中存在P和R 它们是集平均值 若P和R确定 迭代过程和结果就确定 与输入信号变化无关 不具有自适应性 2020 5 23 33 令瞬时互相关矢量 瞬时自相关矩阵 2基本的LMS算法 2020 5 23 34 由于P和R的瞬时估计为随机量 因而由它们构成的梯度是随机梯度 所以LMS算法也称随机梯度搜索法 由于梯度的随机性 使权矢量也是随机变量 权矢量随n的增加是随机趋向最佳点 而不是象最陡下降法那样的确定性的指数趋向 因此 LMS收敛性的讨论只能应用统计理论 LMS算法虽然迭代公式非常简单 但它却是高度非线性的 再加上变量的随机性 所以LMS算法的收敛性分析十分困难 现今取得的成果都是在一定假定条件下得出的 LMS算法说明 2020 5 23 35 LMS算法既可用于平稳过程 又可用于确定性过程和非平稳过程 它对于非平稳过程 可跟踪最佳点的变化 LMS算法说明 2020 5 23 36 3LMS性能分析 独立性理论用于LMS性能分析 1 独立性假定 输入矢量x 1 x 2 x n 之间统计独立 n时刻的输入矢量x n 与期望响应的所有过去值d 1 d 2 d n 1 统计独立 问题 2020 5 23 37 说明 独立性假定在某些应用 例如自适应波束 空间独立 中成立 但对于大多数信号处理应用中不成立 但由于基此假定的LMS分析简单明了 其结论经实践检验是正确的 且与更严格的小步长理论分析结果类似 因此该分析方法仍有实用价值 3LMS性能分析 n时刻的期望响应d n 与x n 有关 但与期望响应的所有过去值统计独立 2020 5 23 38 2 收敛性分析 两边同时取期望值 并应用假定 即n时刻的权矢量与n时刻的输入矢量及期望响应统计独立 得 2020 5 23 39 注意到上式与最陡速降法的递推公式完全类似 因此 引用类似推导思路可得 2 收敛性分析 2020 5 23 40 与最陡下降法不同之处在于 LMS算法的权系权矢量为随机矢量 它是均值收敛到最佳值 这对于实际应用价值是不大的 为分析LMS算法在收敛过程中的性质 必须研究其方差 即误差的均方收敛特性 即学习曲线 2 收敛性分析 2020 5 23 41 3 LMS算法均方误差的统计特性 通常 2020 5 23 42 w n 是随机过程即在附近变动 J n 在之上变动 3 LMS算法均方误差的统计特性 2020 5 23 43 2020 5 23 44 2020 5 23 45 令权系数误差矢量为 由于正交性原理 最佳误差与输入矢量无关 并应用独立性假定 时刻权矢量与同时刻的输入无关 所以第二项为零 对于第三项应用矩阵迹的性质再应用独立性假定 则得 LMS算法学习曲线 2020 5 23 46 定义均方误差超量 额外 注意 由于权系数误差矢量一般说是非平稳过程 因此其自相关矩阵K n 是时变的 即均方误差超量是时变的 下面特别讨论它的收敛性 3 LMS算法均方误差的统计特性 2020 5 23 47 首先注意到Q为正交矩阵 因此 正交变换前后矢量的范数相等 定义这个范数平方的均值为权系数的均方偏差 3 LMS算法均方误差的统计特性 2020 5 23 48 即D n 的收敛决定于均方误差超量的收敛 并与R的特征值散布有关 其次 引用LMS算法的权系数迭代公式 可将权系数误差矢量写成如下递推形式 使用类似的正交变换可得 从而可将其自相关矩阵K n 表示为递推形式 推导中已应用了正交性原理和独立性假定 即同时刻的权系数与输入统计无关 3 LMS算法均方误差的统计特性 2020 5 23 49 当n趋向无穷大时 显然可假定n近似等于n 1 从而有 从上式可知 由于R的非负定性 其特征值皆非负 所以均方误差超量应非负 因此 算法收敛的必要条件为 LMS算法性能分析 2020 5 23 50 4 稳态失调 5 结论 对于同一输入过程和步长 稳态失调随阶数M的增大而增大 对于同一步长 稳态失调与总的抽头输入功率成正比 稳态失调与步长成正比 因此 通过加大步长来加快收敛速度将导致稳态失调增加 5LMS算法性能分析 2020 5 23 51 改进收敛性的途经 使用拟牛顿法 归一化LMS 使用变步长算法 以解决收敛速度与稳态失调的矛盾 使用变换域算法 将输入矢量解耦 对各个分量采用不同步长 5 2 2LMS算法 2020 5 23 52 5 2 3LMS牛顿算法 2算法推导 最小均方误差权向量的牛顿法迭代公式为 1基本思想 LMS牛顿算法是一种LMS改进算法 它在估计梯度时采用了输入向量相关矩阵的估值 使得收敛速度大大快于基本LMS算法 牛顿法可一步到达最佳点 2020 5 23 53 与LMS算法类似 用瞬时梯度替换牛顿法中的真实梯度 则得 此迭代公式可以看作是以自相关矩阵进行归一化的归一化LMS算法 由于自相关矩阵的逆必须递推估计 引入矩阵逆引理估计n时刻的自相关矩阵逆 则得LMS牛顿法的迭代公式 5 2 3LMS牛顿算法 2020 5 23 54 式中遗忘因子一般取接近零的正数 输入的非平稳程度越大 则遗忘因子越大 上式的迭代初值为 自相关矩阵逆的估计还可使用正交化输入矢量进行快速计算 5 2 3LMS牛顿算法 2020 5 23 55 5 2 4归一化LMS算法 1基本思想 使步长与抽头输入功率成反比 从而抑制稳态失调随抽头输入功率的线性增长 或者等价为最小化干扰原理 在每次迭代中 权系数以最小波动方式变化 或等价为瞬时平方误差变化最小 2公式推导