单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,总复习,(按章节）,第一章 绪论,1,信息的定义,。,2信息论的定义。,3信息、消息、信号的关系,4通信系统的模型。,11/15/2024,1,总复习(按章节）第一章 绪论10/8/20231,第2章 信源及其熵,1、信源的数学模型,2、,信源分类：,按消息在时间上和幅度上的分布情况，按发出符号之间的关系，对信源分类。,3、马尔科夫性,4、齐次马尔可夫信源的转移概率具有具有什么特点。,5、,马尔可夫链遍历性的判断定理。,6、自信息量、条件自信息量的定义。,7、信源符号不确定度和自信息量的区别。,8、,离散信源的熵。,离散信源的熵,9、条件熵H(X|Y)、条件熵H(Y|X)的物理含义。,10、,各种熵之间的关系,。,11、离散信源最大熵定理,12、互信息的定义，,平均互信息；物理含义,。,13、,数据处理定理。,14、熵的性质,11/15/2024,2,第2章 信源及其熵10/8/20232,15、离散无记忆信源的序列熵、平均符号熵,极限熵,16、离散有记忆平稳信源的几个结论,17、,连续信源的熵，最大熵定理,18、冗余度的概念、,产生的原因,；冗余的压缩。,11/15/2024,3,15、离散无记忆信源的序列熵、平均符号熵,极限熵10/8/2,第3章信道和信道容量,1、,信道分类,（按信道输入/输出信号特点，根据信道噪声种类不同）,2、信道的表示参数；,3、信道容量的定义。,4、,无噪有损离散信道的信道容量。,5、,有噪无损离散信道的信道容量,6、,对称DMC信道的信道容量,。,7、串联信道的信道容量,8、无记忆离散序列信道的容量。,9、,单符号连续信道的信道容量。,10、多维无记忆高斯加性连续信道及其容量,11、高斯白噪声加性波形信道的容量（,香农公式,），香农信息极限,11/15/2024,4,第3章信道和信道容量10/8/20234,第4章 率失真函数,1、失真度，失真矩阵，平均失真度，常用的失真函数。,2、,率失真函数，物理含义,3、,率失真函数的性质,4、率失真函数的计算,11/15/2024,5,第4章 率失真函数10/8/20235,第5章 信源编码,1、无失真信源编码和,限失真信源编码,2、信源编码的数学描述,3、,码长Ki及其意义,4、,几种常见的码,5、,码树,和kraft不等式（判断惟一可译码存在的充要条件）,6、符号序列编码,7、无失真定长编码定理,7、香农第一极限定理（无失真非定长序列编码定理）,8、,编码效率,9、最佳编码的指导思想,10、最佳编码的主要方法：,香农（Shannon,）、,费诺（Fano）、哈夫曼（Huffman）编码,11、香农第三极限定理（限失真信源编码定理）,12、常用信源编码方法（,游程编码,、,算术编码,）,11/15/2024,6,第5章 信源编码10/8/20236,第6章 信道编码,1、,信道编码的目的,2、差错控制编码,3、检错和纠错（差错控制）的基本原理,4、差错控制方式,5、有扰信道编码定理（Shannon第二极限定理）,6、分组码概念，码重、码距；最小距离与检错和纠错能力之间满足如下关系,。,7、最简单的线性分组码。,8、,差错图样与译码,9、矢量空间（码空间）：定义、基底、张成；,子空间、正交,；分组编码的数学概念,10、,线性分组码的生成矩阵，系统形式的生成矩阵，系统化,11/15/2024,7,第6章 信道编码10/8/20237,11、线性分组码的,校验矩阵,12、伴随式和标准阵列译码。,13、,译码,算法；最大似然译码与,最小距离译码,14、,完备码及其特点,；两种完备码的例子,15、,循环码及其多项式描述,16、,生成多项式，循环码的构造及校验，,系统循环码,17、循环码编码电路,18、BCH码和RS码,19、分组码的扩展、缩短和循环冗余校验码,20、卷积码的基本概念,21、卷积码的解析表达式（说明为什么称之为卷积码）,22、卷积码的转移函数矩阵,23、卷积码的状态流图,24、卷积码的状态流图,11/15/2024,8,11、线性分组码的校验矩阵10/8/20238,25、,卷积码的距离特性,；信号流图法求自由距离,26、最佳卷积码,27、卷积码的译码维特比算法,28、维特比译码差错概率,29、卷积码应用,30、编码与调制的结合-网格编码调制,31、运用级联、分集与信息迭代概念的纠错码,11/15/2024,9,25、卷积码的距离特性；信号流图法求自由距离10/8/202,第六章 作业讲评,二维四重子空间：两个基底，如,（0100），（1000）,线性组合,0000，0100，1000，1100,6.1 题,重数,-构成矢量的元素的个数,维数,-张成矢量空间的基底的个数,事实上，这是（4，2）分组码的码字空间，2,2,=4，共有,4个码字（矢量）,其对偶空间是一个n-k=4-2=2维的子空间。如取两个基底,为:(0010）（0001），,张成的空间为,0000，0010，0001，0011,11/15/2024,10,第六章 作业讲评 二维四重,6.3 题 码元排列顺序 （u,3,u,2,u,1,u,0,v,3,v,2,v,1,v,0,),则生成矩阵为：,若 码元排列顺序 （u,0,u,1,u,2,u,3,v,0,v,1,v,2,v,3,),则生成矩阵为：,11/15/2024,11,6.3 题 码元排列顺序 （u3,u2,u1,u0,最小码距dmin,方法1：最小码距d,0,等于非零码字的最小重量即,d,0,=w,min,列出所有的码字，d,0,=4,方法2：由校验矩阵求最小码距d,0,=r+1,r为 H的秩,r,4,r=4?,d,0,=,4+1=5,11/15/2024,12,最小码距dmin方法1：最小码距d0等于非零码字的最小重量即,6.6 题 （3）伴随式表,n-k=4 2,4,=16,列出16个伴随式即可,6.8 题 （2）循环码的系统形式的生成矩阵,C,=(,c,n,-1,c,1,c,0,)=,m,k,-1,m,1,m,0,=m,*G 将G系统化即得,11/15/2024,13,6.6 题 （3）伴随式表 6.8 题 （2）循,6.11 题 （7，3）RS码,已知生成多项式,g(,x,)=,x,4,+,3,x,3,+,x,2,+,x,+,3,信息序列 m=(,4,2,3,)即m(,x,)=,4,x,2,+,2,x,+,3,r,(,x,)=,x,n,-,k,m,(,x,)mod,g,(,x,),=,x,4,(,4,x,2,+,2,x,+,3,),mod,g,(,x,),=,x,2,+,5,x,+1,c,(,x,)=,x,n-k,m,(,x,)+,r,(,x,),=,6,x,6,+,2,x,5,+,3,x,4,+,x,2,+,5,x,+1,c=(,6,2,3,0,5,1),11/15/2024,14,6.11 题 （7，3）RS码已知生成多项式 g,c=(,6,2,3,0,5,1),衍生码为：c=(101 100 011 000 010 111 001,8个元素都可以表示为,的,最高幂次为m-1(这里m=3)的多项式,3,=,+1；(011),4,=,3,=,(,+1)=,2,+,;(110),5,=,3,2,=(,+1),2,=,2,+,+1,；(111),6,=,3,3,=,2,+,1,;(101),11/15/2024,15,c=(6 2 3 0 5 1)8个元素都可,6.14 题 结构图,状态图,自由距离,11/15/2024,16,6.14 题 结构图10/8/202316,离散信源的熵,1、单独求信源的熵或其它量时，,要给出信源模型,2、熵的计算公式（注意符号的使用）,3、计算出结果,11/15/2024,17,10/8/202317,4、各种条件熵的符号,在给定符号,y,j,的条件下，信源X 的条件熵H(X|,y,j,)为:,在给定信源Y(即各符号,y,j,)的条件下，信源X 的条件熵为:,在给定信源X(即各符号,x,i,)的条件下，信源Y 的条件熵为:,强调：知道问题到底是求哪个量？,11/15/2024,18,4、各种条件熵的符号 在给定符号yj的条件下，信源X 的条,各种熵之间的关系,H(X,Y)H(X)H(Y|X),H(X,Y)H(Y)H(X|Y),理解、证明和计算,H(X|Y),H(Y|X),I(X;Y),H(X),H(Y),H(X,Y),11/15/2024,19,H(X,Y)H(X)H(Y|X)理解、证明和计算 H,对称DMC信道的信道容量,。,1、写出模型（传递矩阵）,2、判断对称性（输入对称、输出对称）,3、代入“公式”计算,或者：,11/15/2024,20,对称DMC信道的信道容量。10/8/202320,11/15/2024,21,10/8/202321,香农公式,高斯白噪声加性波形信道及其容量,11/15/2024,22,10/8/202322,计算和理解,（1）提高信噪比SNR，可以增加信道容量.N,0,w-0,Ct-,.,（2）增加信道的带宽并不能无限制地提高信道容量。,（3）给出了不同的SNR下，所能达到的最大频带利用率。,（4）Ct一定时，带宽w和信噪比SNR可以互换。大的系统带宽,可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带,宽的要求。（举例：扩频通信）,11/15/2024,23,计算和理解（3）给出了不同的SNR下，所能达到的最大频带利用,率失真函数的性质,D允许的实验信道P,D,中一定有一种信道，使得,I(X;Y),最小。定义,R(D),为：,物理含义：,性质:,R(D),的定义域,D,min,D,max,11/15/2024,24,率失真函数的性质D允许的实验信道PD中一定有一种信道，使得I,11/15/2024,25,10/8/202325,香农编码、费诺（Fano）、哈夫曼（Huffman）编码,1、编码,2、计算编码效率,线性分组码的,生成矩阵、校验矩阵,循环码的,生成多项式，循环码的构造及校验，系统循环码,编码，校验，系统化,11/15/2024,26,香农编码、费诺（Fano）、哈夫曼（Huffman）编码,