单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,武科院 电子信息系,liuli,*,第五章 信道与信道容量,5,信道与信道容量,信道的功能：,以信号形式传输和存储信息。,信道传输信息的速率：,与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。,信道容量研究内容：,在什么条件下，通过信道的信息量最大,。,5.1,信道的数学模型和分类,5.2,单符号离散信道的信道容量,5.3,多符号离散信道,5.4,多用户信道,5.5,连续信道,5.6,信道编码定理,11/17/2024,1,武科院 电子信息系,liuli,5.1,信道的数学模型和分类,(1),一般信道的数学模型,(2),信道的分类,(3),实际的信道,11/17/2024,2,武科院 电子信息系,liuli,(1),一般信道的数学模型,信道的输入输出关系,一般信道的数学模型,11/17/2024,3,武科院 电子信息系,liuli,信道的输入输出关系,信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真；,信道的输入和输出之间一般不是确定的函数关系，而是,统计依赖关系,；,知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。,一般来说，输入和输出信号都是广义的时间连续的随机信号，可用,随机过程,来描述。,11/17/2024,4,武科院 电子信息系,liuli,一般信道的数学模型,信道的一般数学模型如图,5.1.1,所示,数学模型的数学符号表示,X,P,(,Y,/,X,),Y,实际信道带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。,随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。,图,5.1.1,一般信道的数学模型,11/17/2024,5,武科院 电子信息系,liuli,(2),信道的分类,根据输入输出随机信号的特点分类,根据输入输出随机变量个数的多少分类,根据信道个数分类,根据信道上有无干扰分类,根据信道有无记忆特性分类,11/17/2024,6,武科院 电子信息系,liuli,根据输入输出随机信号的特点分类,离散信道：,输入、输出随机变量都取离散值。,连续信道：,输入、输出随机变量都取连续值。,半离散,/,半连续信道：,输入变量取离散值而输出变量取连续值，或反之。,11/17/2024,7,武科院 电子信息系,liuli,根据输入输出随机变量个数的多少分类,单符号信道：,输入和输出端都只用一个,随机变量,来表示。,多符号信道：,输入和输出端用,随机变量序列,/,随机矢量,来表示。,11/17/2024,8,武科院 电子信息系,liuli,根据输入输出信道个数分类,单用户信道：,只有一个输入和一个输出的信道。,多用户信道：,有多个输入和多个输出的信道。,11/17/2024,9,武科院 电子信息系,liuli,根据信道上有无干扰分类,有干扰信道：,存在干扰或噪声或两者都有的信道。,实际信道一般都是有干扰信道。,无干扰信道：,不存在干扰或噪声，或干扰和噪声可忽略不计的信道。,计算机和外存设备之间的信道可看作是无干扰信道。,11/17/2024,10,武科院 电子信息系,liuli,根据信道有无记忆特性分类,无记忆信道：,输出仅与当前输入有关，而与过去输入无关的信道。,有记忆信道：,信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。,11/17/2024,11,武科院 电子信息系,liuli,(3),实际的信道,实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。,一个实际信道可同时具有多种属性。,最简单的信道是单符号离散信道。,11/17/2024,12,武科院 电子信息系,liuli,5.2,单符号离散信道的信道容量,5.2.1,信道容量定义,5.2.2,几种特殊离散信道的信道容量,11/17/2024,13,武科院 电子信息系,liuli,5.2.1,信道容量定义,(1),单符号离散信道的数学模型,(2),信息传输率,(3),信道容量,(4),结论,11/17/2024,14,武科院 电子信息系,liuli,(1),单符号离散信道的数学模型,信道模型,信道统计特性,11/17/2024,15,武科院 电子信息系,liuli,信道模型,设输入,X,x,1,x,2,x,i,x,n,输出,Y,y,1,y,2,y,j,y,m,其信道模型如图,5.2.1,所示。,图,5.2.1,11/17/2024,16,武科院 电子信息系,liuli,信道统计特性,信道统计特性描述：,由信道转移概率描述。,信道转移概率,/,信道传递概率,：,条件概率,p,(,y,j,/,x,i,),。,信道特性表示：,用信道转移概率矩阵，简称,信道矩阵,。,11/17/2024,17,武科院 电子信息系,liuli,(2),信道的信息传输率,如果信源熵为,H,(,X,),，,希望在信道输出端接收的信息量就是,H,(,X,),，,由于干扰的存在，一般只能接收到,I,(,X,;,Y,),。,信道的信息传输率：,就是平均互信息,R,=,I,(,X,;,Y,),。,输出端,Y,往往只能获得关于输入,X,的部分信息，这是由于平均互信息性质决定的：,I,(,X,;,Y,),H,(,X,),。,I,(,X,;,Y,),是信源无条件概率,p,(,x,i,),和信道转移概率,p,(,y,j,/,x,i,),的二元函数：,11/17/2024,18,武科院 电子信息系,liuli,(3),信道容量,当信道特性,p,(,y,j,/,x,i,),固定后，,I,(,X,;,Y,),随信源概率分布,p,(,x,i,),的变化而变化。,调整,p,(,x,i,),，,在接收端就能获得不同的信息量。由平均互信息的性质已知，,I,(,X,;,Y,),是,p,(,x,i,),的上凸函数，因此总能找到一种概率分布,p,(,x,i,),（,即某一种信源），使信道所能传送的信息率为最大。,信道容量,C,：,在信道中最大的信息传输速率，单位是比特,/,信道符号。,单位时间的信道容量,C,t,：,若信道平均传输一个符号需要,t,秒钟，则单位时间的信道容量为,C,t,实际是信道的最大信息传输速率。,11/17/2024,19,武科院 电子信息系,liuli,(4),结 论,C,和,C,t,都是求平均互信息,I,(,X,;,Y,),的条件极大值问题，当输入信源概率分布,p,(,x,i,),调整好以后，,C,和,C,t,已与,p,(,x,i,),无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；,信道容量是完全,描述信道特性,的参量；,信道容量是信道,能够传送的最大信息量,。,11/17/2024,20,武科院 电子信息系,liuli,5.2.2,几种特殊离散信道的信道容量,(1),离散无噪信道的信道容量,(2),强对称离散信道的信道容量,(3),对称离散信道的信道容量,(4),准对称离散信道的信道容量,11/17/2024,21,武科院 电子信息系,liuli,(1),离散无噪信道的信道容量,具有一一对应关系的无噪信道,具有扩展性能的无噪信道,具有归并性能的无噪信道,结论,11/17/2024,22,武科院 电子信息系,liuli,具有一一对应关系的无噪信道,这种信道如图,5.2.2,所示,对应的信道矩阵是,图,5.2.2,11/17/2024,23,武科院 电子信息系,liuli,因为信道矩阵中所有元素均是,“,1”,或,“,0”,，,X,和,Y,有确定的对应关系：,已知,X,后,Y,没有不确定性，噪声熵,H,(,Y,/,X,)=0,；,反之，收到,Y,后，,X,也不存在不确定性，信道疑义度,H,(,X,/,Y,)=0,;,故有,I,(,X,;,Y,)=,H,(,X,)=,H,(,Y,),。,当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量,11/17/2024,24,武科院 电子信息系,liuli,具有扩展性能的无噪信道,此信道的举例如图,5.2.3,所示。,n,m,，,输入,X,的符号集个数小于输出,Y,的符号集个数。其信道矩阵如下：,图,5.2.3,11/17/2024,25,武科院 电子信息系,liuli,虽然信道矩阵中的元素不全是,“,1”,或,“,0”,，但由于每列中只有一个非零元素：,已知,Y,后，,X,不再有任何不确定度，信道疑义度,H,(,X,/,Y,)=0,，,I,(,X,;,Y,)=,H,(,X,)-,H,(,X,/,Y,)=,H,(,X,),。,例如，输出端收到,y,2,后可以确定输入端发送的是,x,1,，,收到,y,7,后可以确定输入端发送的是,x,3,，,等等。,信道容量为,与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，,H,(,X,)m,，,输入,X,的符号集个数大于输出,Y,的符号集个数。其信道矩阵如下：,5.2.4,11/17/2024,27,武科院 电子信息系,liuli,信道矩阵中的元素非,“,0”,即,“,1”,，每行仅有一个非零元素，但每列的非零元素个数大于,1,：,已知某一个,x,i,后，对应的,y,j,完全确定，信道噪声熵,H,(,Y,/,X,)=0,。,但是收到某一个,y,j,后，对应的,x,i,不完全确定，信道疑义度,H,(,X,/,Y,)0,。,信道容量为,这种信道输入端符号熵大于输出端符号熵，,H,(,X,),H,(,Y,),。,注意：,在求信道容量时，调整的始终是输入端的概率分布,p,(,x,i,),，,尽管信道容量式子中平均互信息,I,(,X,;,Y,),等于输出端符号熵,H,(,Y,),，,但是在求极大值时调整的仍然是输入端的概率分布,p,(,x,i,),，,而不能用输出端的概率分布,p,(,y,j,),来代替,。,11/17/2024,28,武科院 电子信息系,liuli,举例：,图,5.2.4,的信道容量是,log,2,3=1.585(,比特,/,信道符号,),，,求要达到这一信道容量对应的信源概率分布。,由信道矩阵得,p,(,y,1,)=,p,(,x,1,)1+,p,(,x,2,)1,p,(,y,2,)=,p,(,x,3,)1+,p,(,x,4,)1,p,(,y,3,)=,p,(,x,5,)1,只要,p,(,y,1,)=,p,(,y,2,)=,p,(,y,3,)=(1/3),，,H,(,Y,),达到最大值，即达到信道容量,C,。,此时使,p,(,y,1,)=,p,(,y,2,)=,p,(,y,3,)=(1/3),的信源概率分布,p,(,x,i,),i,=1,2,3,4,5,存在，但不是惟一的。,这种信道的输入符号熵大于,输出符号熵，即,H,(,X,),H,(,Y,),。,图,5.2.4,11/17/2024,29,武科院 电子信息系,liuli,结 论,无噪信道的信道容量,C,只决定于信道的输入符号数,n,，,或输出符号数,m,，,与信源无关。,11/17/2024,30,武科院 电子信息系,liuli,(2),强对称离散信道的信道容量,什么是强对称离散信道,强对称信道矩阵特点,强对称离散信道的信道容量,输入是什么概率分布时达到信道容量,二进制均匀信道,11/17/2024,31,武科院 电子信息系,liuli,什么是强对称离散信道,单符号离散信道的,X,和,Y,取值均由,n,个不同符号组成，即,X,x,1,x,2,x,i,x,n,，,Y,y,1,y,2,y,j,y,n,信道矩阵为,这种信道称为,强对称,/,均匀,信道。,这类信道中：总的错误概率是,p,，,对称平均地分配给,(,n,-1),个输出符号。,信道矩阵中每行之和等于,1,，每列之和也等于,1,。,一般信道矩阵中，每列之和不一定等于,1,。,11/17/2024,32,武科院 电子信息系,liuli,强对称信道矩阵特点,强对称信道矩阵，它的每一行和每一,列都是同一集合各个元素的不同排列。,由平均互信息定义：,H,ni