7.6 最小二乘估计（最小二乘估计（ Least Square Estimate）最小二乘估计是一种对数据的概率分布未做任何假定的一种最小二乘估计是一种对数据的概率分布未做任何假定的一种估计方法，仅对数据模型进行假定。估计方法，仅对数据模型进行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel -+选择一种选择一种的最佳估计的最佳估计 ,使使s(n)最接近最接近z(n)例如：例如：DC电平信号电平信号例：正弦信号频率的估计例：正弦信号频率的估计最小化难以得到闭合性形式的解，原因是信号与最小化难以得到闭合性形式的解，原因是信号与未知参数未知参数f0之间存在高度的非线性关系。之间存在高度的非线性关系。加权最小二乘估计加权最小二乘估计讨论：讨论：（1） 当观测噪声的均值为零时，最小二乘与加权最小二当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。乘是无偏估计。（2估计的方差阵估计的方差阵(3) 对于加权最小二乘估计，如果有一些模型的知识，对于加权最小二乘估计，如果有一些模型的知识，如如E(v)=0，EvvT=R，当，当W=R-1时，估计误差的方时，估计误差的方差阵达到最小，这个最小的方差阵为差阵达到最小，这个最小的方差阵为 这时的估计称为马尔可夫估计这时的估计称为马尔可夫估计例：信号幅度的估计例：信号幅度的估计设设N次独立观测为次独立观测为方法一：方法一：方法方法2：信号处理实例：最小二乘在目标跟踪中的应用信号处理实例：最小二乘在目标跟踪中的应用目标的跟踪问题可等效成一个曲线拟合问题目标的跟踪问题可等效成一个曲线拟合问题假定目标做匀速直线运动假定目标做匀速直线运动运动模型只考虑运动模型只考虑x方向）：方向）：观测模型：观测模型：令令 递推算法：递推算法：批处理算法，运算量太大。批处理算法，运算量太大。 递推算法：推算法：7.7 波形估计波形估计 (Waveform Estimation)根据根据 z(n), n n0, nf 估计估计s(n)波形估计的应用波形估计的应用图像恢复图像恢复语音恢复语音恢复目标跟踪目标跟踪弹道数据处理弹道数据处理1. 波形估计的三种类型波形估计的三种类型(1)滤波：滤波： 根据当前和过去的观测值根据当前和过去的观测值 z(k), k= n0, n0+1,.,n 对信号对信号s(n)进行估计进行估计 (2)预测预测: 根据当前和过去的观测值根据当前和过去的观测值 z(k), k= n0, n0+1,.,nf 对未来时刻对未来时刻n(nnf)的信号的信号s(n)进行估计，预测也称为外推。进行估计，预测也称为外推。 数据数据数据数据 (3)内插内插: 根据某一区间的观测数据根据某一区间的观测数据 z(k), k= n0, n0+1,.,nf 对区间内的某一个时刻对区间内的某一个时刻n(n0nnf)的信号进行估计，内插也称为平滑。的信号进行估计，内插也称为平滑。 数据数据波形估计宜采用可建立递推算法的线性最小均方估波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计。计或最小二乘估计。v(n) 相互独立，且相互独立，且若采用最大似然估计若采用最大似然估计这个估计量是没有意义的，因为没有对观测做任何处理。这个估计量是没有意义的，因为没有对观测做任何处理。最小均方估计：最小均方估计：线性最小均方估计：线性最小均方估计：滤波滤波由正交原理：由正交原理：Wiener-Holf 方程方程波形估计的关键是如何求解波形估计的关键是如何求解Wiener-Holf方程方程维纳滤波器维纳滤波器假定信号和观测过程是平稳随机序列，并且是联合平稳假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为线性时不变离散时间线性系统，随机序列，系统为线性时不变离散时间线性系统，n0= - ，即观测数据为，即观测数据为 z(k), - k ， 维纳滤波器维纳滤波器当信号当信号s(n)s(n)与与观测噪声噪声统计独立独立时 如果假定如果假定 z(k), - k ，系统为因果的线性时不变系统，系统为因果的线性时不变系统 当观测为白噪声的时候，当观测为白噪声的时候，如果不是白噪声，那么可以先白化如果不是白噪声，那么可以先白化Hw(z)H2(z)例例7.13设观测过程为设观测过程为z(n)=s(n)+v(n)，其中假定观，其中假定观测噪声测噪声v(n)为零均值白噪声，方差为为零均值白噪声，方差为1，s(n)是具有是具有有理谱的平稳随机序列，功率谱密度为有理谱的平稳随机序列，功率谱密度为信号信号s(n)与与v(n)统计独立，求估计统计独立，求估计s(n)的维纳滤波器的维纳滤波器解：解：连续时间的维纳滤波器连续时间的维纳滤波器离散时间滤波离散时间滤波连续时间滤波连续时间滤波物理可实现物理可实现物理可实现物理可实现例例7.13设观测过程为设观测过程为z(t)=s(t)+v(t)，- t 其中假定观测噪声其中假定观测噪声v(n)为零均值白噪声，功率谱密度为零均值白噪声，功率谱密度为为1，s(n)是具有有理谱的平稳随机过陈，功率谱密度是具有有理谱的平稳随机过陈，功率谱密度为为求估计求估计s(t)的维纳滤波器。的维纳滤波器。第七章小结第七章小结贝叶斯估计贝叶斯估计非贝叶斯估计非贝叶斯估计最小均方估计最小均方估计条件中位数估计条件中位数估计最大后验概率估计最大后验概率估计线性最小均方估计线性最小均方估计最大似然估计最大似然估计最小二乘估计最小二乘估计都需要计算后都需要计算后验概率密度验概率密度需要计算似然函数需要计算似然函数只对数据模型进行假定只对数据模型进行假定1. 最小均方估计最小均方估计平方代价函数的贝叶斯估计平方代价函数的贝叶斯估计最小均方估计是无偏估计最小均方估计是无偏估计2. 条件中位数估计条件中位数估计绝对值代价函数的贝叶斯估计绝对值代价函数的贝叶斯估计3. 3. 最大后最大后验概率估概率估计采用绝对值代价函数的贝叶斯估计采用绝对值代价函数的贝叶斯估计最大后验概率方程最大后验概率方程贝叶斯估计都需要计算后验概率密度，需要已知被估贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性。计量的分布特性。先验信息的应用，有利于提高估计的性能。先验信息的应用，有利于提高估计的性能。Mean=Median=Mode高斯后验分布高斯后验分布4. 最大似然估计最大似然估计最大似然方程：最大似然方程：常用信号参数的估计常用信号参数的估计（1） 高斯白噪声中恒定电平的估计高斯白噪声中恒定电平的估计（2） 高斯白噪声的方差估计高斯白噪声的方差估计均值为零均值为零均值已知均值已知均值未知均值未知（3信号幅度的估计信号幅度的估计zn=Asn+vn ，n=0,1,.N-1正弦信号幅度估计正弦信号幅度估计:(4) 正弦信号相位的估计正弦信号相位的估计5. 估计的性能估计的性能0Desire PDF概率密度越尖越好概率密度越尖越好均值要等于真值均值要等于真值方差越小越好方差越小越好对于有偏估计，对于有偏估计，均方误差越小越好均方误差越小越好性能指性能指标：无偏性：无偏性 有效性有效性 一致性一致性 估计量的估计量的CRLB当且仅当当且仅当任何无偏估计的方差满足任何无偏估计的方差满足达到达到CRLB的估计称为效估计量的估计称为效估计量如果有效估计量存在，则该有效估计量一定是最大似如果有效估计量存在，则该有效估计量一定是最大似然估计然估计如果有效估计量不存在，则最大似然估计如果有效估计量不存在，则最大似然估计 的方差不一的方差不一定是最小的。定是最小的。最大似然估计是渐近有效估计量，即最大似然估计是渐近有效估计量，即随机参量的随机参量的CRLB任何无偏估计的均方误差满足任何无偏估计的均方误差满足等号成立的条件等号成立的条件如果有某个无偏估如果有某个无偏估计达到达到CRLB,CRLB,那么那么该估估计必定是最大后必定是最大后验概率估概率估计. .而最小均方估而最小均方估计的均方的均方误差也是最小的差也是最小的, ,所以所以这时最小均方估最小均方估计与最大后与最大后验概率估概率估计等价等价. .6. 线性最小均方估计线性最小均方估计线性最小均方估计是无偏的。线性最小均方估计是无偏的。当观测与被估计量当观测与被估计量是联合高斯分布式，线性是联合高斯分布式，线性最小均方估计与最小均方估计等价。最小均方估计与最小均方估计等价。矢量形式：矢量形式：7. 最小二乘估计最小二乘估计性质：性质：当观测噪声的均值为零时，最小二乘与加权最小二乘是无当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。偏估计。W=R-1时称为马尔可夫估计时称为马尔可夫估计8. 波形估计波形估计滤波、预测、平滑的概念滤波、预测、平滑的概念运用正交原理获得运用正交原理获得Wiener-Holf方程方程离散时间滤波离散时间滤波连续时间滤波连续时间滤波物理可实现物理可实现物理可实现物理可实现习题：习题： 7.23 7.24 7.25