单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,ppt课件,*,Chapter 6,Parameter Estimation,Chapter 6Parameter Estimation,目 录,6.1,最大似然估计,6.2,广义似然比检验,6.3,优良估计评价标准,6.4,贝叶斯估计,6.5 Cramer-Rao,不等式,6.6,多参数估计,6.7,最佳线性无偏估计,6.8,最小二乘估计,6.9,递归最小二乘估计,目 录6.1 最大似然估计,序言,在第5章中，我们学习了关于检测理论的问题，主要是解决在M个可能的假设中来确定哪个假设是正确。,本章主要介绍假设接受的信号是正确的，但是有些相关联的参数是未知的，主要的目的就是利用有限的样本参数用最佳的方式估计这些参数。,令Y,1,，Y,2,，.，Y,K,为K个独立同分布的随机变量Y的样本，其密度函数取决于未知参数。y,1,，y,2,，.，y,K,为样本Y,1,，Y,2,，.，Y,K,所对应的值，函数,g（Y,1,，Y,2,，.，Y,K,）用来估计参数。表示为,称为参数的估计。,通常，估计的参数可以是随机的或非随机的。随机参数的估计被称为贝叶斯估计，而非随机参数的估计被称为最大似然估计（MLE）。,序言在第5章中，我们学习了关于检测理论的问题，主要是解决在M,6.1,最大似然估计,如在前面的函数中所提到的，通常用,最大似然（ML）估计来,估计非随机参数。令,Y,1,，Y,2,，.，Y,K,具有样本值y,1,，y,2,，.，y,K,的,随机变量Y的K个观测值，并且这些随机变量是独立同分布的。令 表示随机变量Y的条件密度函数。Y的密度函数取决于需要估计的参数，,记最大似然函数为,L(,),，式,6.1.1,(6.1.1),似然函数最大的值 称为的最大似然估计量。为求最大似然估计量，我们利用数学中所学的微积分。为了计算简单，利用对数函数，由于对数函数,lnx,是关于变量,x,的递增函数，由第五章可知最大化,L(,),与,ln(L(,),等价。可以用最大似然函数的对数函数式求解，对参数,求导数可以求的最大似然估计量。如式,6.1.2,(6.1.2),不变性：令L,(,),是的似然函数,并且,g(,),是参数,一一对应的函数，即,g(,1,)=g(,2,),1,=,2,如果 是参数,的最大似然估计量，则 是,g(,),最大似然估计量。,6.1 最大似然估计如在前面的函数中所提到的，通常用最大似然,6.1,最大似然估计,Examle6.1,the received signal under hypotheses H1 and H0 was,(a)Assuming the constant m is not known,obtain the ML estimate of,the mean.,(b)Suppose now that the mean m is known,but the variance,2,is unknown.,Obtain the MLE of =,2,.,在第五章中，是确定假设中的那个假设是真的。而在本章中，假设,H1,是真的，参数是未知的需要用最大似然估计来估计。,(a),在例题中需要确定的参数 对应为 ，,mM,由于样本参数是独立同分布的，由式,6.1.1,得似然函数：,6.1 最大似然估计Examle6.1the receive,6.1,最大似然估计,等式两边同取对数得,利用式,6.1.2,解似然方程得到似然估计得,得到 。Thus,the ML estimator is,6.1 最大似然估计等式两边同取对数得利用式6.1.2 解似,6.1,最大似然估计,(b)最大似然估计式为,方程两边取对数得,其中对,lnL(,2,),最大化等价于对,2,最小化,由似然函数的不变性得,6.1 最大似然估计(b)最大似然估计式为,6.1,最大似然估计,因此，,2,的最大似然估计为,6.1 最大似然估计因此，2的最大似然估计为,6.2,广义似然比检验,在例5.9中，我们解决了,复合,假设检验问题。,参数m在,假设H1下,虽然已知m是正或负，但,是值是未知。当m仅为正值（仅为负值）时，在UMP测试，判决规则为,m0,时,m0,。因此，上式等价于下式,判决门限图如图,6.2.1,Figure 6.2.1 Decision regions of the generalized likelihood ratio test,设定期望的失警概率，可以确定,1,的值。在得到失,警概率,P,F,的表达式之前，我们需要确定Z的密度,函数,。,6.2 广义似然比检验其中10。因此，上式等价于下式判决,6.2,广义似然比检测,在假设H,0,下Y的均值,为零,和方差,2,，所有的观察数据都是统计独立的高斯过程。,因此,，的密度函数均是均值为零和方差K,2,的高斯过程。因此，Z也是具有均值为零和方差,2,的高斯过程。,失警的概率为，如图,6.2.2,所示,Figure 6.2,.2,Density function of Z under H,0,.,6.2 广义似然比检测在假设H0下Y的均值为零和方差2，所,6.2,广义似然比检验,从上面可以在没有,m,的失警概率中确定,1,的值。然而，检测的概率不能在没有,m,的情况下确定，,但可以对,m,做,参数估计。在假设H,1,下，是具有均值为Km和方差K,2,的高斯过程。因,此，Z的密度函数是具有均K m和方差,2,。,给定,m,的检测概率为，概率密度图如图,6.2.3,所示,6.2 广义似然比检验 从上面可以在没有m的失警概率,6.2,广义似然比检验,通过比较，广义似然比检验和奈曼,-,皮尔逊检验效果一样好。,Figure 6.,2.,3 Density function of Z under H,1,.,6.2 广义似然比检验通过比较，广义似然比检验和奈曼-皮尔逊,6.3,优良估计评价标准,由于估计参量 是随机变量，所对应的值不止一个。因此需要确定最优估计。,无偏估计：是无偏估计，满足,6.3.1,式,（6.3.1）,有偏估计：如式,6.3.2,（6.3.2）,1.,如果,b(,),不依赖于,(b(,)=b),，就认为估计量 具有已知的偏差，也就是说,(-b),是无偏估计。,2.,当,b(,)b,，由于,是未知的，所以不能获得无偏估计。在这种情况下，就认为估计量具有 未知的偏差。,当参数,既满足式（,6.3.1,）并且不是随机的（没有的先验概率分布），这有时称为绝对无偏估计。,6.3 优良估计评价标准由于估计参量 是随机变量，所,6.3,优良估计评价标准,如果估计是无偏的，其意味着估计值与真实值接近，但是不一定是最优估计。可以通过图6.,3.1,中所示的估计的条件密度函数容易地看出。从图中观察到，即使是无偏,估计,，,因估计的方差很大,也可能发生相当大的误差。然而如果方差小，估计量和期望值的相差也很小。因此，可以认为估计的优良性可以有方差大小判断。,Figure 6.3.1 Density function of the unbiased estimator .,6.3 优良估计评价标准如果估计是无偏的，其意味着估计值与真,6.3,优良估计评价标准,无偏最小方差：是的最小方差和无偏估计，对所有的参数都有,E()=,则对所有,var()var(),也就是说，对于所有无偏估计，具有最小的方差。,一致估计：是基于K个观察样本的参数的一致估计，如果满足式,6.3.3,(6.3.3),P(.),代表概率。,应用上述定义并不能验证估计的一致性。可以用以下定理,定理：是基于K个观察样本的参数的无偏估计，如果满足式,6.3.4,（6.3.4）,（6.3.5）,是参数,的一致估计量。,如果满足式6.3.5,6.3 优良估计评价标准无偏最小方差：是的最小方差和,6.3,优良估计评价标准,Example 6.3,(,a)Verify if the estimator of Example 6.1 is an unbiased estimate of m.,(b)Is the estimator unbiased?,Solution,(a),The estimator is unbiased if E =m.After substitution,we obtain,Hence,is unbiased,.,(b),The estimator is unbiased if E =,2,.That is,Hence,is unbiased.,6.3 优良估计评价标准 Example 6.3(a)V,6.4,贝叶斯估计,在贝叶斯估计中，引入了代价,(,损失,),函数，对所有的 定义为 。代价函数是两个随机变量和 的非负实函数。在贝叶斯检测中，代价函数的平均代价定义为风险函数，如式,6.4.1,。,（6.4.1）,贝叶斯估计就是寻找使得风险函数（即平均代价）达到最小的判决准则。一般情况是估计单变量，所以利用估计误差 来进行估计。估计误差如式,6.4.2,（6.4.2）,下面有三种常用的代价函数，其图形如图,6.4.1,所示。,1.,平方代价函数,2.,绝对值代价函数,（6.4.3）,（6.4.4）,6.4 贝叶斯估计在贝叶斯估计中，引入了代价(损失)函数，对,6.4,贝叶斯估计,3.,均匀代价函数,（6.4.5）,表示一个很小的量，可见所谓的均匀代价函数是指当误差超过某一门限值时，代价是相