,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,节向量到子空间的距离,定义,向量到子空间各向量间的最短距离,最小二乘法,最小二乘法,节向量到子空间的距离定义向量到子空间各向量间的最短距离最小二,1,一、定义,在解析几何中，两个点 和 间的距离等于向,量 -的长度.,在欧氏空间中我们同样可引入,定义 13 长度|-|称为向量 和 的距离,记为 d(,).,不难证明距离的三条基本性质：,1)d(,)=d(,)；,2)d(,)0，并且仅当=时等号才成立;,3)d(,)d(,)+d(,)(三角不等式).,一、定义在解析几何中，两个点 和 间的距离等于向量,2,二、向量到子空间各向量间的最短距离,在中学所学几何中知道一个点到一个平面(或,一条直线)上所有点的距离以垂线最短.,下面可以证,明一个固定向量和一个子空间中各向量的距离也是,以“垂线最短”.,先设一个子空间 W，它是由向量 1,2,k,所生成，即 W=L(1,2,k).,说一个向量 垂,直于子空间 W，就是指向量 垂直于 W 中任何一,个向量.,容易验证 垂直于 W 的充分必要条件是,二、向量到子空间各向量间的最短距离在中学所学几何中知道一个点,3,垂直于每个i(i=1,2,k).,现在来证明向量到子空间各向量间的距离以垂,线最短.,设 是给定的一向量，是 W 中的向量，且满,足 -垂直于 W.,要证明 到 W 中各向量的距离,以垂线最短，就是要证明，对 W 中任一向量，,有,|-|-|.,我们可以画出下面的示意图：,垂直于每个i(i=1,2,k).,4,-,-,-,W,图 9-2,-W 图 9-2,5,证明,-=(-)+(-).,因 W 是子空,间，W，W，则 -W.,故 -垂直于,-.,由勾股定理，有,|-|2+|-|2=|-|2，,故,|-|-|.,证毕,证明-=(-)+(-,6,三、最小二乘法,1.引例,上述几何事实可以用来解决一些实际问题.,其,中的一个应用就是解决最小二乘法问题.,先看下面,的例子.,引例 已知某种材料在生产过程中的废品率 y,与某种化学成分 x 有关.,下列表中记载了某工厂生,产中 y 与相应的 x 的几次数值：,三、最小二乘法1.引例上述几何事实可以用来解决一些实际问,7,y,(,)1.00 0.9 0.9 0.81 0.60 0.56 0.35,x,(,)3.6 3.7 3.8 3.9 4.0 4.1 4.2,我们想找出 y 对 x 的一个近似公式.,解,把表中数值画出图来看，发现它的变化,趋势近于一条直线.,因此我们决定选取 x 的一次式,ax+b 来表达.,当然最好能选到适当的 a,b 使得,下面的等式,3.6a+b-1.00=0,3.7a+b-0.9=0,y()1.00 0.9 0.9,8,3.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0,都成立.,实际上是不可能的.,任何 a,b 代入上面,各式都会发生些误差.,于是想找 a,b 使得上面各,式的误差的平方和最小，即找 a,b 使,3.8a+b-0.9=0,都成立.实际上是不可,9,(3.6a+b-1.00)2+(3.7a+b-0.9)2,+(3.8a+b-0.9)2+(3.9a+b-0.81)2,+(4.0a+b-0.60)2+(4.1a+b-0.56)2,+(4.2a+b-0.35)2,最小.,这里讨论的是误差的平方即二乘方，故称为,最小二乘法.,现在转向一般的最小二乘法问题.,(3.6a+b-1.00)2+(3.7a+,10,2.定义,定义14 线性方程组,可能无解.,即任何一组数 x1,x2,xs 都可能使,2.定义定义14 线性方程组可能无解.即任何一组数,11,不等于零.,我们设法找 x10,x20,xs0 使(1)最小,这样的 x10,x20,xs0 称为方程组的最小二乘解.,这种问题就叫做最小二乘法问题.,3.最小二乘法的代数表示,下面我们利用欧氏空间的概念来表达最小二乘,法，并给出最小二乘解所满足的条件.,令,不等于零.我们设法找 x10,x20,xs0,12,(2),(2),13,用距离的概念，,就是,|Y-B|2.,最小二乘法就是找x10,x20,xs0 使 Y 与 B 的距,离最短.,但从,知道向量 Y 就是,用距离的概念，就是|Y-B|2.最小二乘法就是找x,14,把 A 的各列向量分别记成 1,2,s.,由它们,生成的子空间为 L(1,2,s).,Y 就是 L(1,2,s)中的向量.,于是最小二乘法问题可叙述,成：,找 X 使,最小，就是在 L(1,2,s),中找一向量 Y，使得 B 到它的距离比到子空间,L(1,2,s)中其他向量的距离都短.,把 A 的各列向量分别记成 1,2,s,15,4.最小二乘解的求法,应用前面所讲的结论，设,Y=AX=x11+x22+xss,是所要求的向量，则,C=B-Y=B-AX,必须垂直于子空间 L(1,2,s).,为此只须,而且必须,(C,1)=(C,2)=(C,s)=0.,4.最小二乘解的求法应用前面所讲的结论，设Y=AX,16,回忆矩阵乘法规则，上述一串等式可以写成矩阵相,乘的式子，即,1T C=0,2T C=0,sT C=0.,而 1T,2T,sT 按行正好排成矩阵 AT，上述,一串等式合起来就是,AT(B-AX)=0，,或,AT AX=AT B.,回忆矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即1,17,这就是最小二乘解所满足的代数方程，它是一个线,性方程组，系数矩阵是 ATA，常数项是 ATB.,这种,线性方程组总是有解的.,(参见第5章习题17),现在回到前面的例子，易知,这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩,18,最小二乘解 a,b 所满足的方程是,即为,解得,a=-1.05,b=4.81(取三位有效数字).,最小二乘解 a,b 所满足的方程是即为解得a=-1.,19,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束,!,若想结束本堂课,请单击返回按钮,.,本节内容已结束!本节内容已结束!本节内容已结束!本节内,20,