单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第二章 数学根底,目的：,复习根本的线性代数知识，作为一个概念和符,号的汇编。,线性代数参考书：,G.H.Golub,C.F.Vanloan Matrix omputation,1983,The Johns Hopkins University Press.(有中译本，大连理工大学出版社，1988),G.Strang,Linear Algerbra and Its Applications,Academic Press,New York,1976.(有中译本，侯自新译，南开大学出版社，1990),西安电子科技大学雷达信号处理实验室,2.1,线性空间和希尔伯特空间,一,.,符号及定义,符号,以后我们常用字母加低杆表示矢量和矩阵，并且,用小写字母表示矢量，大写字母表示矩阵，如：,线性空间：,关于线性空间和希尔伯特空间的严格定义，读者,可以参阅有关线性代数的教科书，这里仅给出其使用,概念和结论。,所谓线性空间是指满足线性变换关系的矢量,集合 ，这里“满足线性变换关系是指,严格定义：线性空间首先应满足“加法+和“数乘 的封闭性。,西安电子科技大学雷达信号处理实验室,希尔伯特空间,希尔伯特空间是指定义了内积的,完备线性空间,。,式中“表示共轭转置，“*表示取复共轭。,我们定义两个矢量的内积为：,西安电子科技大学雷达信号处理实验室,二、独立性、正交性、子空间分解,在N维线性空间中，假设 ，,线性空间 的一个子集V，假设V对加法和数乘封闭，,线性无关,那么，矢量组 是线性无关的，否那么，假设 的非平凡组合为零，那么称 是线性相关的。,子空间,西安电子科技大学雷达信号处理实验室,即,那么，V是 的一个子空间。,设 是 上的一组矢量，那么由 的所有线性组合构成的集合是 的一个子空间，常称为 张成的子空间，记为：,假设 是线性无关的，且 那么 可由 唯一地线性表示。,西安电子科技大学雷达信号处理实验室,如果 是线性无关，并且不是,如果是最大线性无关组，那么，,的任一线性无关组的真子集，那么，这个子集,就是,的一个,最大线性无关,1,2,3称 是 的一个基。,组,。,西安电子科技大学雷达信号处理实验室,的零空间为,:,矩阵 的秩定义为：,矩阵的值域与零空间,给定一组向量，由这组向量张成的子空间容易由以上给出的定义写出。另一种求子空间的方法是给定子空间中矢量的约束条件。如与矩阵有关的两子空间值域与零空间。,设 ，那么 的值域或列空间为,西安电子科技大学雷达信号处理实验室,1 是非奇异的,2,3 满秩,可以证明 ，即矩阵的秩等于最大无关行数或最大无关列数。,，如果m=n,那么如下关系等价：,正交性,矢量的角,设 ，那么这两个矢量的夹角余弦定义为：,西安电子科技大学雷达信号处理实验室,正交性：,1矢量 正交是指其夹角余弦等于零，即,2矢量组 是正交的，如果对所有 ，有 正交。如果满足 ，那么称之为标准正交的。,3子空间 称为互相正交的，如果,子空间分解,如果 是线性空间 的子空间，那么它们的和,也是一个子空间,假设每一个 有唯一的表达式,那么 被称为一个直和，并写为：,西安电子科技大学雷达信号处理实验室,子空间的交集也是一个子空间，如 。如果,一个子空间 的正交补为,如果矢量 是标准正交的并且张成子空间,那么 为直和。,一个重要特例：,正交分解,，那么称矢量组 构成子空间 的一个标准正交基。它总可以扩充为 的一组完全的标准正交基 ，此时 。,西安电子科技大学雷达信号处理实验室,三、线性变换与投影算子,线性空间 上的一个变换 称为线性变换，如果它满足：,在一定基的意义上，一个线性变换 可用一矩阵 表示。用一组基表示它在线性变换 下的象，其坐标所排成的矩阵就称为 在这组基下的矩阵。线性变换与矩阵一一对应。,线性变换,西安电子科技大学雷达信号处理实验室,正交投影算子,一种重要的线性变换是投影算子，而且正交情形是最重要的。,正交投影算子,的定义：,设子空间 ，线性变换 称为正交投影，如果，,西安电子科技大学雷达信号处理实验室,几何意义：维线性空间中的一个点 和子空间 ，求点 ，使 到 点的距离不超过 到 上各点的距离。如图2.1所示。,图,2.1,向量 表示由一系列的实验和调查所给出的数据，由于这些实验或调查包含不少的误差，以致在给定的子空间中不可能找到这组数据，即，我们不可能把 表示成子空间 中的一个向量，因为我们所遇到的方程组是不相容的，因此，是无解的，这样一来，最小二乘解法就是选择点 作为最正确选择。,西安电子科技大学雷达信号处理实验室,正交投影算子的表示，即 点的求解。,假设子空间 由标准正交基 张成，那么任一矢量 ，在子空间 上的正交投影矢量 可表示为：,此公式可用直角坐标系来解释。,式中 阶方阵,常称为,投影矩阵,。,西安电子科技大学雷达信号处理实验室,可见，由标准正交基来求正交投影算子是很方便的。,假设子空间 由一组基 未必正交张成，求由 表示的空间 上的正交投影算子。,由正交投影的定义，到 的投影矢量 ，即 由,由,(2.12),式可知，上的正交投影矩阵为：,线性表示，且 与 正交，即,，那么 ，得投影矢量,西安电子科技大学雷达信号处理实验室,正交变换与正交矩阵,（,2.13,）式给出了到矩阵的列空间上的正交投影矩阵，当基矢量是标准正交基时，（,2.13,）式可简化为（,2.11,）式形式。（,2.13,）式也称为 的伪逆。,线性变换是正交变换，如果对线性空间中的任意矢量 ，有内积关系：,，,有时又称为保角变换、酉变换。相应于正交变换 的矩阵 为正交矩阵或酉矩阵，如果满足关系：,西安电子科技大学雷达信号处理实验室,有限长序列 有,N,个样本，它,的傅里叶变换 在频率区间 的,N,个等间隔分布的点 上也有,N,个取,样值。,两个重要例子：,例,1,：离散傅氏变换,DFT,是正交变换,西安电子科技大学雷达信号处理实验室,矩阵 常称为一种Bulter矩阵线性情况。,那么DFT变换,写成矩阵形式并归一化可得：,西安电子科技大学雷达信号处理实验室,正交变换是可逆变换，变换后无信息损失。,大家知道，在数字信号处理中，DFT变换是一种很重要的变换，我们常用它对数据变换到频域，以便于分析信号频谱，在阵列信号处理中，对阵列空间抽样数据作DFT，相当于把数据变换到角频域波束空间beam space，分析波达方向DOA。,尽管用DFT技术作谱分析时其分辨率不高，但在高分辨谱估计和自适应滤波技术中，DFT变换仍是很重要的一种正交变换，在后面我们还要屡次利用它对数据作DFT预变换，简化问题，这里只简单提一下。,西安电子科技大学雷达信号处理实验室,例2：K-L变换卡-洛变换karhuen-loeve,取上述连续情况的 与 的,N,个均匀时间取样值，得：,注意：DFT变换是一种不依赖数据的变换data-independent，下面再介绍一种依赖于数据的正交变换data-dependent，随机矢量的线性变换。,连续卡洛展开,在 区间的连续随机信号 可展开为：,式中：展开系数 是随机变量；,为基函数，它满足,：,西安电子科技大学雷达信号处理实验室,所以对于随机序列 ，假设其自相关函数为 ，那么K-L变换为：,令,，那么有,西安电子科技大学雷达信号处理实验室,的,特点,：,对任一 维Hermite矩阵 ，其特征矢量构成 维空间的一组标准正交基。因此，存在一正交矩阵 使得 与一对角阵相似，即：,物理意义：按随机序列的能量大小逐次作N个正交方向分解。Y的各分量去相关且按能量从大到小排列。K-L变换有人叫最正确变换。,2.2,矩阵的分解,特征值分解,式中 为 的特征值。,西安电子科技大学雷达信号处理实验室,正定半正定性：假设Hermite阵 对任一非零矢量，有 ，那么称 为正定半正定的。,正定的Hermite矩阵 的所有特征值为正数，即：,(2.21)式中 为 的特征值，为特征矢量。称此分解为特征分解EVD.,奇异值分解SVD,对 ，存在正交矩阵 和 ，使得：,式中,是 的奇异值,容易验证：,矩阵,QR,分解,任一矩阵 ，总可以化为：,其中 是正交矩阵，是上三角矩阵，2.22式称为 的QR分解。,西安电子科技大学雷达信号处理实验室,2,.,3,复变量实函数求导数,研究实函数：,，其中,根据求导法那么：,西安电子科技大学雷达信号处理实验室,矩阵对标量求微分,设 的元素 是某一矢量的可微函数，那么,假设矩阵 的元素是某个自变量 标量的函数，当每一个 均为可微函数时，可构成一个与 同阶的矩阵：，称作矩阵 对自变量 的导数或微分。,矩阵的微分满足的根本运算规那么为：,矩阵对矢量求微分,西安电子科技大学雷达信号处理实验室,矩阵 对矢量 的微分：,矩阵对矩阵求微分,右边矩阵共有,st,个块，每分块矩阵为 矩阵对矩阵的元素 求导，所有分块矩阵按 阵排列方式排列。,那么,西安电子科技大学雷达信号处理实验室,例：,其中 ，求 。,解：,西安电子科技大学雷达信号处理实验室,