单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,近代辨识,：最小二乘法、极大似然法,辨识对象：,以单输入单输出系统差分方程为模型,辨识内容：,系统模型参数和系统模型阶次,n,学习内容：,各种参数估计算法的推导、特点、,流程、优缺点及适用范围,第,3,章 最小二乘法辨识,3.1,基本的最小二乘估计,解决问题：,在模型阶次,n,已知的情况下，根据系统的输入输出数,据，估计出系统差分方程的各项系数。,式中，,x(k),为理论输出值，,y(k),为实际观测值，,n(k),为观测噪声。则有：,1.,基于输入,/,输出数据的系统模型描述,SISO,系统的差分方程为,将,x(k),代入上式，可得输入输出数据方程为：,则当前输出为：,设观测数据有,(n+N),个，令,k,分别等于,n+1,n+N,则有：,上式写成向量形式为：,记为：,输出向量 测量矩阵 参数矩阵 噪声矩阵 数据长度,N,(,注：实际数据个数为,n+N),若,N=(2n+1),且,=0,，则上式中的,阵为,(2n+1)(2n+1),的方阵。由此，可解得,的唯一解为：,而在实际工程中，,肯定不等于,0,，且,N(2n+1),，即方程个数远大于未知数，故而上述,的解不成立。,当前任务：,在存在噪声,和数据长度,N(2n+1),的情况下，,如何进行参数,的估计。,(3.1),即,2.,基本的最小二乘法,(LS),辨识准则：,残差平方和最小。,为模型的计算值，即,(1),残差,e,(2),指标函数,J,故而，最小二乘法辨识就是使,J,最小的参数估计方法。,即有：,下面我们推导,估计值的计算方法。,J,取得最小值，也即,J,为极值，则有：,其中,为,(2n+1)(2n+1),的方阵。,若其逆阵存在，则：,(3.2),上式即为最小二乘法的参数估计结果。,讨论：理论上，偏导为,0,只能说明,J,取得极值。可能为极大,值，也可能为极小值。,也即,T,为正定阵。而,阵为测量矩阵，它由输入,/,输出数据组成，故而,“,T,为正定阵,”,必与输入信号,u(k),密切相关。因此，需要讨论,LS,方法对输入信号的要求。,使,J,为极小值的条件为：,3.,最小二乘法对输入信号的要求,主要讨论,对输入信号,u(k),的要求。,其中，,则当,N,时，有：,于是有：,J,取得极小值,T,正定,R,正定,R,u,正定。,因此：,J,取得极小值的必要条件为,R,u,为正定阵,。,这就是最小二乘法对输入信号的要求。,定义：,如果序列,u(k),的,(n+1),阶方阵,R,u,是正定的，则称序列,u(k),为,(n+1),阶持续激励信号,。,因此，,最小二乘法对输入信号的要求为：,u(k),为,(n+1),阶持续激励信号,哪些输入信号,u(k),的,R,u,是,强对角线占优矩阵,？以下输入信号均能满足,R,u,正定的要求：,白噪声序列；,伪随机二位式噪声序列；,有色噪声随机信号序列。,工程上常用,“,伪随机二位式噪声序列,”,、,“,有色噪声随机信号序列,”,作为输入信号。,考查,若,R,u,为强对角线占优矩阵，则,R,u,正定。,4.,最小二乘估计的概率性质,最小二乘估计的概率性质主要有以下四方面：,估计的无偏性；,估计的一致性；,估计的有效性；,估计的渐进正态性。,我们主要讨论前两项：无偏性和一致性。,估计的无偏性,无偏性估计的定义：,若,，则称,是参数,的无偏估计。,下面讨论无偏估计的条件。,(3.3),LS,无偏估计的充要条件为：,下面讨论无偏估计的充分条件。,考查充要条件,由上式可知：,y(k),只与,(k,),(k-1,),(k-2),相关，而与,(k+1,),(k+2,),(k+3),不相关。,若,(k),为零均值不相关随机序列，且与,u(k),无关。,则由上式可知，,T,与,不相关。,则有：,可见，在上述条件下我们得到了参数,的无偏估计。,(k),为零均值不相关随机序列，且与,u(k),无关。,LS,无偏估计的充分条件为：,(2),一致性估计,一致性估计的定义：,若,，则称,是参数,的一致性估计。,若参数估计值以概率,1,收敛于真值,，则称估计值具有一致性。或采用下述定义：,式中，,为估计误差,的方差。,下面讨论一致性估计的充分条件。,估计误差的方差为：,一致性估计的充分条件为：,同样，假设,(k),为零均值不相关随机序列，且与,u(k),无关。则,T,与,不相关,且有：,(k),为零均值不相关随机序列，且与,u(k),无关。,(3),估计值的有效性,有效性的定义：,若参数估计误差的方差达到最小值，则称该估计值是有效估计值。,LS,有效估计值的充分条件：,(k),是零均值且服从正态分布的白噪声序列。,(4),估计值的渐近正态性,渐近正态性的定义：,若参数估计值服从正态分布，则称该估计值是渐近正态的。,LS,渐近正态性的充分条件：,(k),是零均值且服从正态分布的白噪声序列。,(5),基本最小二乘估计存在问题,无偏性和一致性估计的充分条件均为：,(k),为零均值不相关随机序列，且与,u(k),无关。,考查,相关,也就是说即使在,n(k),为白噪声的条件下，,(k),为相关随机序列。故而,基本最小二乘估计是有偏估计,，必须对基本最小二乘法进行改进。,1.,递推算法推导,3.2,递推最小二乘法,解决问题：,(n+N),组观测数据时的参数估计值已知，现在又得,到了一组新的观测值,(u(n+N+1),y(n+N+1),，如何,采用最小二乘法进行在线估计新的估计值问题。,假设已获取了数据长度为,N,的,I/O,数据，则由,LS,估计有：,记：,，则,可写成：,现获得了一组新的,I/O,数据值：,u(n+N+1),、,y(n+N+1),。需推导出,的计算公式，即,(n+N+1),时刻的观测值,y(n+N+1),可表示为：,则上式可写为：,则由最小二乘,(LS),可得,(n+N+1),时刻的参数估计值为：,则输入输出方程可写成分块矩阵形式：,(3.4),上式记为：,现在的主要任务是求解矩阵的逆,矩阵求逆引理：,若相应矩阵的逆均存在，则有,对照,，令：,则有,考查矩阵,的维数：,可见，矩阵求逆运算转化为求标量的倒数运算。,将,代入,的表达式，经整理有：,(3.5),由,(3.5),式可得,LS,的递推算法：,递推过程：,(3.6),上述递推算法的运行需获取两个初值：,初值获取方法：,证明：基本最小二乘离线算法与递推算法的结果完全一致,.,注：,