单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,7.6 最小二乘估计（ Least Square Estimate）,最小二乘估计是一种对数据的概率分布未做任何假定的一种估计方法，仅对数据模型进行假定。,Signal,Model,Perturbation,noise,Model,inaccuracies,Signal,Model,-,+,7.6 最小二乘估计（ Least Square Estim,1,选择一种,的,最佳估计 ,使,s,(,n,)最接近,z,(,n,),例如：DC电平信号,选择一种的最佳估计 ,使s(n)最接近z(n),2,例：正弦信号频率的估计,最小化难以得到闭合性形式的解，原因是信号与未知参数f,0,之间存在高度的非线性关系。,例：正弦信号频率的估计最小化难以得到闭合性形式的解，原因是信,3,第二十四讲：最小二乘估计、波形估计课件,4,加权最小二乘估计,加权最小二乘估计,5,讨论：,（1） 当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。,讨论：（1） 当观测噪声的均值为零时，最小二乘与加权最小二乘,6,（2）估计的方差阵,（2）估计的方差阵,7,(3) 对于加权最小二乘估计，如果有一些模型的知识，如E(,v,)=0，E,vv,T,=R，当W=R,-1,时，估计误差的方差阵达到最小，这个最小的方差阵为,这时的估计称为马尔可夫估计,(3) 对于加权最小二乘估计，如果有一些模型的知识，如E(v,8,例：信号幅度的估计,设N次独立观测为,方法一：,例：信号幅度的估计设N次独立观测为方法一：,9,方法2：,方法2：,10,信号处理实例：最小二乘在目标跟踪中的应用,目标的跟踪问题可等效成一个曲线拟合问题,假定目标做匀速直线运动,运动模型（只考虑,x,方向）：,信号处理实例：最小二乘在目标跟踪中的应用目标的跟踪问题可等效,11,观测模型：,令,观测模型：令,12,递推算法：,批处理算法，运算量太大。,递推算法：批处理算法，运算量太大。,13,递推算法：,递推算法：,14,7.7 波形估计 (Waveform Estimation),根据 ,z,(,n,),n,n,0,n,f, 估计,s,(,n,),波形估计的应用,图像恢复,语音恢复,目标跟踪,弹道数据处理,7.7 波形估计 (Waveform Estimation),15,1. 波形估计的三种类型,(1)滤波： 根据当前和过去的观测值,z,(,k,),k,=,n,0,n,0,+1,.,n,对信号,s,(,n,)进行估计,(2)预测: 根据当前和过去的观测值,z,(,k,),k,=,n,0,n,0,+1,.,n,f,对未来时刻,n,(,n,n,f,)的信号,s,(,n,)进行估计，预测也称为外推。,数据,数据,1. 波形估计的三种类型(1)滤波： 根据当前和过去的观测值,16,(3)内插: 根据某一区间的观测数据,z,(,k,),k,=,n,0,n,0,+1,.,n,f,对区间内的某一个时刻,n,(,n,0,n,n,f,)的信号进行估计，内插也称为平滑。,数据,(3)内插: 根据某一区间的观测数据数据,17,波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计。,v,(,n,) 相互独立，且,若采用最大似然估计,波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计,18,这个估计量是没有意义的，因为没有对观测做任何处理。,这个估计量是没有意义的，因为没有对观测做任何处理。,19,最小均方估计：,线性最小均方估计：,滤波,最小均方估计：线性最小均方估计：滤波,20,由正交原理：,Wiener-Holf 方程,波形估计的关键是如何求解Wiener-Holf方程,由正交原理：Wiener-Holf 方程波形估计的关键是如何,21,维纳滤波器,假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为线性时不变离散时间线性系统，,n,0,= -,，即观测数据为,z,(,k,), -,k,，,维纳滤波器假定信号和观测过程是平稳随机序列，并且是联合平稳随,22,维纳滤波器,维纳滤波器,23,当信号s(n)与观测噪声统计独立时,当信号s(n)与观测噪声统计独立时,24,如果假定 ,z,(,k,), -,k,，系统为因果的线性时不变系统,如果假定 z(k), -k ，系统为因果的线性,25,第二十四讲：最小二乘估计、波形估计课件,26,当观测为白噪声的时候，,当观测为白噪声的时候，,27,如果不是白噪声，那么可以先白化,H,w,(,z),H,2,(,z),如果不是白噪声，那么可以先白化Hw(z)H2(z),28,例7.13设观测过程为,z,(,n,)=,s,(,n,)+,v,(,n,)，其中假定观测噪声,v,(,n,)为零均值白噪声，方差为1，,s,(,n,)是具有有理谱的平稳随机序列，功率谱密度为,信号,s,(,n,)与,v,(,n,)统计独立，求估计,s,(,n,)的维纳滤波器,例7.13设观测过程为z(n)=s(n)+v(n)，其中假,29,解：,解：,30,第二十四讲：最小二乘估计、波形估计课件,31,第二十四讲：最小二乘估计、波形估计课件,32,连续时间的维纳滤波器,离散时间滤波,连续时间滤波,物理可实现,物理可实现,连续时间的维纳滤波器离散时间滤波连续时间滤波物理可实现物理可,33,例7.13设观测过程为,z,(,t,)=,s,(,t,)+,v,(,t,)，-,t,其中假定观测噪声,v,(,n,)为零均值白噪声，功率谱密度为1，,s,(,n,)是具有有理谱的平稳随机过陈，功率谱密度为,求估计,s(t),的维纳滤波器。,例7.13设观测过程为z(t)=s(t)+v(t)，-,34,第二十四讲：最小二乘估计、波形估计课件,35,第七章小结,贝叶斯估计,非贝叶斯估计,最小均方估计,条件中位数估计,最大后验概率估计,线性最小均方估计,最大似然估计,最小二乘估计,都需要计算后验概率密度,需要计算似然函数,只对数据模型进行假定,第七章小结贝叶斯估计非贝叶斯估计最小均方估计最大似然估计都需,36,1. 最小均方估计,平方代价函数的贝叶斯估计,最小均方估计是无偏估计,2. 条件中位数估计,绝对值代价函数的贝叶斯估计,1. 最小均方估计平方代价函数的贝叶斯估计最小均方估计是无偏,37,3. 最大后验概率估计,采用绝对值代价函数的贝叶斯估计,最大后验概率方程,3. 最大后验概率估计采用绝对值代价函数的贝叶斯估计最大后验,38,贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性。,先验信息的应用，有利于提高估计的性能。,贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性,39,Mean=Median=Mode,高斯后验分布,Mean=Median=Mode高斯后验分布,40,4. 最大似然估计,最大似然方程：,4. 最大似然估计最大似然方程：,41,常用信号参数的估计,（1） 高斯白噪声中恒定电平的估计,（2） 高斯白噪声的方差估计,均值为零,均值已知,均值未知,常用信号参数的估计（1） 高斯白噪声中恒定电平的估计（2）,42,（3）信号幅度的估计,z,n,=,As,n,+,v,n, ，,n,=0,1,.,N,-1,正弦信号幅度估计:,（3）信号幅度的估计zn=Asn+vn ，n=0,43,(4) 正弦信号相位的估计,(4) 正弦信号相位的估计,44,5. 估计的性能,0,Desire PDF,概率密度越尖越好,均值要等于真值,方差越小越好,对于有偏估计，,均方误差越小越好,性能指标：无偏性 有效性 一致性,5. 估计的性能0Desire PDF概率密度越尖越好对于有,45,估计量的CRLB,当且仅当,任何无偏估计的方差满足,估计量的CRLB当且仅当任何无偏估计的方差满足,46,达到CRLB的估计称为效估计量,如果有效估计量存在，则该有效估计量一定是最大似然估计,如果有效估计量不存在，则最大似然估计 的方差不一定是最小的。,最大似然估计是渐近有效估计量，即,达到CRLB的估计称为效估计量如果有效估计量存在，则该有效估,47,随机参量的CRLB,任何无偏估计的均方误差满足,等号成立的条件,随机参量的CRLB任何无偏估计的均方误差满足等号成立的条件,48,如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率估计.而最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后验概率估计等价.,如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率,49,6. 线性最小均方估计,6. 线性最小均方估计,50,线性最小均方估计是无偏的。,当观测与被估计量,是联合高斯分布式，线性最小均方估计与最小均方估计等价。,矢量形式：,线性最小均方估计是无偏的。当观测与被估计量是联合高斯分布式,51,7. 最小二乘估计,7. 最小二乘估计,52,第二十四讲：最小二乘估计、波形估计课件,53,性质：,当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。,W=R,-1,时称为马尔可夫估计,性质：W=R-1时称为马尔可夫估计,54,8. 波形估计,滤波、预测、平滑的概念,运用正交原理获得Wiener-Holf方程,8. 波形估计滤波、预测、平滑的概念运用正交原理获得Wien,55,离散时间滤波,连续时间滤波,物理可实现,物理可实现,离散时间滤波连续时间滤波物理可实现物理可实现,56,习题： 7.23 7.24 7.25,习题： 7.23 7.24 7.25,57,