单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第二章 回归分析的基本方法,回归分析概述,线性回归模型及假定,线性回归模型的参数估计,第二章 回归分析的基本方法 回归分析概述,1,2.1 回归分析概述,一、变量间的关系及回归分析的基本概念,二、一元总体回归函数,三、随机扰动项,四、,一元,样本回归函数（SRF）,2.1 回归分析概述一、变量间的关系及回归分析的基本概念,2,2.1 回归分析概述,（1）,确定性关系,或,函数关系,：,研究的是确定现象非随机变量间的关系。,（2）统计依赖,或,相关关系：,研究的是非确定现象随机变量间的关系。,一、变量间的关系及回归分析的基本概念,1、变量间的关系,经济变量之间的关系，大体可分为两类：,2.1 回归分析概述 （1）确定性关系或函数关系：研究,3,对变量间,统计依赖关系,的考察主要是通过,相关分析(correlation analysis),或,回归分析(regression analysis),来完成的：,例如,：,函数关系：,统计依赖关系/统计相关关系：,对变量间统计依赖关系的考察主要是通过相关分析(correla,4,不线性相关并不意味着不相关；,有相关关系并不意味着一定有因果关系；,回归分析,/,相关分析,研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。,相关分析,对称地对待任何（两个）变量，两个变量都被看作是随机的。,回归分析,对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。,注意：,注意：,5,回归分析(regression analysis),是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论,。,其用意,：,在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值,。,这里：,前一个变量被称为,被解释变量,（Explained Variable）,或,应变量,（Dependent Variable），,后一个（些）变量被称为,解释变量,（Explanatory Variable）,或,自变量,（Independent Variable）,。,2、回归分析的基本概念,回归分析构成计量经济学的方法论基础，其主要内容包括：,（1）根据样本观察值对经济计量模型参数进行估计，求得,回归方程；,（2）,对回归方程、参数估计值进行显著性检验；,（3）利用回归方程进行分析、评价及预测。,回归分析(regression analysi,6,回归分析,关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值,，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。,二、一元总体回归函数,回归分析关心的是根据解释变量的已知或给定值，,7,概念：,在给定解释变量,X,i,条件下被解释变量,Y,i,的期望轨迹称为,一元总体回归线,（,population regression line,），或更一般地称为,一元,总体回归曲线,（,population regression curve,）。,称为（双变量）,一元,总体回归函数,（,population regression function,PRF,）,。,相应的函数：,概念：在给定解释变量Xi条件下被解释变量Yi的期望轨,8,回归函数（PRF）说明被解释变量Y的平均状态（总体条件期望）随解释变量X变化的规律。,含义：,函数形式：,可以是线性或非线性的。,为一,线性函数。,其中，,0,，,1,是未知参数，称为,回归系数,（,regression coefficients,）。,。,回归函数（PRF）说明被解释变量Y的平均状态（总体,9,三、随机扰动项,称,i,为观察值,Y,i,围绕它的期望值,E(,Y,|,X,i,),的,离差,（deviation）,，是一个不可观测的随机变量，又称为,随机干扰项,（stochastic disturbance）,或,随机误差项,（stochastic error）,。,记,三、随机扰动项 称i为观察值Yi围绕它,10,（*）式称为,一元,总体回归函数,（方程）,PRF,的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响,。,(*),由于方程中引入了随机项，成为计量经济学模型，因此也称为,一元总体回归模型,。,（*）式称为一元总体回归函数（方程）PRF的随机,11,随机误差项主要包括下列因素的影响：,1）在解释变量中被忽略的因素的影响；,2）变量观测值的观测误差的影响；,3）模型关系的设定误差的影响；,4）其它随机因素的影响。,产生并设计随机误差项的主要原因：,1）理论的含糊性；,2）数据的欠缺；,3）节省原则。,随机误差项主要包括下列因素的影响：1）在解释变量中被忽略的因,12,四、,一元样本,回归函数（,SRF,）,问题：,能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？,总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一个样本。,四、一元样本回归函数（SRF）问题：能从一次,13,该样本的,散点图,（scatter diagram)：,样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为,一元样本回归线,（sample regression lines）。,记样本回归线的函数形式为：,称为,一元样本回归函数,（,sample regression function,，,SRF,）,。,该样本的散点图（scatter diagram)：,14,这里,将,样本回归线,看成,总体回归线,的近似替代,则,注意：,这里将样本回归线看成总体回归线的近似替代则,15,样本回归函数的随机形式/样本回归模型,：,同样地，样本回归函数也有如下的随机形式：,由于方程中引入了随机项，成为计量经济模型，因此也称为,一元样本回归模型,（sample regression model）,。,样本回归函数的随机形式/样本回归模型：同样地，样本,16,回归分析的主要目的,：根据样本回归函数SRF，估计总体回归函数PRF。,注意：,这里PRF可能永远无法知道。,即，根据,估计,回归分析的主要目的：根据样本回归函数SRF，估计总体回归,17,2.2 线性回归模型,一、多元线性回归模型,二、多元线性回归模型的基本假定,2.2 线性回归模型 一、多元线性回归模型,18,一、多元线性回归模型,多元线性回归模型,:,表现在线性回归模型中的解释变量有多个。,一般表现形式,：,i,=1,2,n,其中:,k,为解释变量的数目，,j,称为,回归参数,（,regression coefficient,）。,习惯上,：把,常数项,看成为一,虚变量,的系数，该虚变量的样本观测值始终取1。这样：,模型中解释变量的数目为（,k,+1）,一、多元线性回归模型 多元线性回归模型:表现,19,也被称为,总体回归函数,的,随机表达形式,。它 的,非随机表达式,为:,方程表示：,各变量X值固定时Y的平均响应,。,j,也被称为,偏回归系数,，表示在其他解释变量保持不变的情况下，,X,j,每变化1个单位时，,Y,的均值,E(Y),的变化;,或者说,j,给出了,X,j,的单位变化对,Y,均值的“直接”或“净”（不含其他变量）影响。,也被称为总体回归函数的随机表达形式。它 的非随机表达式为:,20,总体回归模型n,个随机方程的,矩阵表达式,为,其中,总体回归模型n个随机方程的矩阵表达式为 其中,21,样本回归函数,：用来估计总体回归函数,其,随机表示式,:,e,i,称为,残差,或,剩余项,(residuals),，可看成是总体回归函数中随机扰动项,i,的近似替代。,样本回归函数,的,矩阵表达:,或,其中：,样本回归函数：用来估计总体回归函数其随机表示式:,22,二、多元线性回归模型的基本假定,假设,1,，解释变量是非随机的或固定的，且各,X,之间互不相关（无多重共线性）。,假设,2,，随机误差项具有零均值、同方差及不序列相关性,假设,3,，解释变量与随机项不相关,假设,4,，随机项满足正态分布,二、多元线性回归模型的基本假定 假设1，解释变量是非随,23,上述假设的,矩阵符号表示,式：,假设1,，,n,(,k,+1),矩阵,X,是非随机的，且,X,的秩,=,k,+1,，即,X,满秩。,假设2，,假设,3,，E(,X,)=0，即,上述假设的矩阵符号表示 式：假设1，n(k+1)矩阵,24,假设,4,，向量,服从多维正态分布，即,同一元回归一样，多元回归还具有如下两个重要假设：,假设5,，,样本容量趋于无穷时，各解释变量的方差趋于有界常数，即,n,时，,或,其中：,Q,为一非奇异固定矩阵，矩阵,x,是由各解释变量的离差为元素组成的,n,k,阶矩阵,假设,6,，回归模型的设定是正确的。,假设4，向量 服从多维正态分布，即 同一元回归一样，多,25,2.3,线性回归模型的参数估计,估计方法：,OLS,、,ML,一、普通最小二乘估计,二、最大似然估计,三、参数估计量的性质,四、样本容量问题,五、估计实例,2.3 线性回归模型的参数估计 估计方法：OLS、ML,26,一、普通最小二乘估计,对于随机抽取的n组观测值,如果,样本函数,的参数估计值已经得到，则有：,i=1,2,n,根据,最小二乘原理,，参数估计值应该是下列方程组的解,其中,一、普通最小二乘估计对于随机抽取的n组观测值如果样本函数的参,27,于是得到关于待估参数估计值的,正规方程组,：,于是得到关于待估参数估计值的正规方程组：,28,正规方程组,的,矩阵形式,即,由于,XX,满秩，故有,正规方程组的矩阵形式即由于XX满秩，故有,29,将上述过程用,矩阵表示,如下：,即求解方程组：,得到：,于是：,将上述过程用矩阵表示如下：即求解方程组：得到：于是：,30,正规方程组,的另一种写法,对于,正规方程组,于是,或,(*)或（*）是多元线性回归模型,正规方程组,的另一种写法,(*),(*),正规方程组 的另一种写法对于正规方程组 于是 或(*)或,31,样本回归函数的离差形式,i=1,2,n,其,矩阵形式,为,其中,：,在离差形式下，参数的最小二乘估计结果为,样本回归函数的离差形式i=1,2n其矩阵形式为 其中：,32,随机误差项,的方差,的无偏估计,可以证明，随机误差项,的方差的无偏估计量为,随机误差项的方差的无偏估计 可以证明，随机误差项,33,二、最大似然估计,对于多元线性回归模型,易知,Y,的随机抽取的,n,组样本观测值的联合概率,即为变量,Y,的,似然函数,二、最大似然估计 对于多元线性回归模型易知 Y的随机,34,对数似然函数为,对对数似然函数求极大值，也就是对,求极小值。,因此，参数的,最大似然估计,为,结果与参数的普通最小二乘估计相同,对数似然函数为对对数似然函数求极大值，也就是对 求极小值。,35,三、参数估计量的性质,在满足基本假设的情况下，其结构参数,的,普通最小二乘估计,、,最大似然估计,及,矩估计,仍具有：,线性性,、,无偏性,、,有效性,。,同时，随着样本容量增加，参数估计量具有：,渐近无偏性、渐近有效性、一致性,。,1、线性性,其中,C,=,(XX),-1,X,为一仅与固定的,X,有关的行向量,三、参数估计量的性质 在满足基本假设的情况下，其结构,36,2、无偏性,这里利用了假设:,E(,X,)=,0,3、有效性（最小方差性）,2、无偏性 这里利用了假设:E(X)=0 3,37,其中利用了,和,其中利用了 和,38,四、样本容量问题,所谓“,最小样本容量,”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,最小样本容量,样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即,n,k,+1,因为，,无多重共线性要求：秩(,X,)=,k