,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,#,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,1,第,3,章信道与信道容量,信道分类和表示参数,离散单个符号信道及其容量,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,2,3.1,信道分类和表示参数,信道分类,用户数量：单用户、多用户,输入端和输出端关系：无反馈、有反馈,信道参数与时间的关系：固参、时变参,噪声种类：随机差错、突发差错,输入输出特点：离散、连续、半离散半连续、,波形信道,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,3,3.1,信道分类和表示参数,信道参数,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,4,3.1,信道分类和表示参数,信道种类,1,、无干扰（无噪声）信道,2,、有干扰无记忆信道,信道的输出信号,Y,与输入信号,X,之间又确定的关系。,信道的输出信号,Y,与输入信号,X,之间没有确定关系,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,5,3.1,信道分类和表示参数,1,）二进制对称信道（,BSC,）,由于这种信道的输出比特仅与对应时刻的一个输入比特,有关，而与以前的输入无关，所以这种信道是无记忆的,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,6,3.1,信道分类和表示参数,2),离散无记忆信道,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,7,3.1,信道分类和表示参数,设计和分析离散信道编码、解码器的性能,DMC,信道模型,分析性能的理论极限，则多用离散输入、连续输出,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,8,3.2,离散单个符号信道及其容量,信息传输率,信道在单位时间内平均传输的信息量定义为信息传输速率,R=,I,(,X,;,Y,)=,H,(,X,),H,(,X,/,Y,),比特,/,符号,R,t,=,I,(,X,;,Y,)/t,比特,/,秒,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,9,3.2,离散单个符号信道及其容量,信道容量,比特,/,符号（,bits/symbol,或,bits/channel use,）,对于某特定信道，若转移概率,已经确定，则互信息就,是关于输入符号分布函数,型凸函数,如果已知符号传送周期是,T,秒，也可以“秒”为单位来计算,信道容量，此时,Bit/s,、,nat/s,注：对于特定的信道，信道容量是个定值，但在传输信息,时信道能否提供最大传输能力，则取决于输入端的概率分布。,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,10,3.2,离散单个符号信道及其容量,3.2.1,无干扰离散信道的信道容量,X,、,Y,一一对应,C,max,I,(,X,;,Y,),log n,多个输入变成一个输出,C,max,I,(,X,;,Y,),max,H,(,Y,),一个输入对应多个输出,C,max,I,(,X,;,Y,),max,H,(,X,),普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,11,3.2,离散单个符号信道及其容量,对称,DMC,信道定义,输入对称,如果转移概率矩阵,P,的每一行都是第一行的置换,(,包含同样元素,),，称该矩阵是输入对称,输出对称,如果转移概率矩阵,P,的每一列都是第一列的置换,(,包含同样元素,),，称该矩阵是输出对称,对称,的,DMC,信,道,如果输入、输出都对称,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,12,3.2,离散单个符号信道及其容量,对称,DMC,信道例子,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,13,3.2,离散单个符号信道及其容量,输入对称,输出对称,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,14,3.2,离散单个符号信道及其容量,对称信道容量,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,15,3.2,离散单个符号信道及其容量,Eg.,求信道容量,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,16,第六讲,复习,离散单个符号的信道及其容量,信道的描述,对称,DMC,信道及其信道容量的计算,本节内容,准对称,DMC,信道,一般,DMC,信道,离散序列信道及其容量,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,17,3.2,离散单个符号信道及其容量,Eg.,求信道容量,信道输入符号和输出符号的个数相同，都为,n,，且正确的传输概率为,1,，错误概率,被对称地均分给,n-1,个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,18,3.2,离散单个符号信道及其容量,二进制对称信道容量,C,1,H,（,）,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,19,3.2,离散单个符号信道及其容量,串联信道,C(1,2)=max,I,(,X,;,Z,),，,C(1,2,3)=max,I,(,X,;,W,),普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,20,3.2,离散单个符号信道及其容量,Eg.,设有两个离散,BSC,信道串接，两个,BSC,信道的转移矩阵如下，求信道容量,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,21,3.2,离散单个符号信道及其容量,信道容量,I,(,X,;,Y,)=1-,H,(,),，,I,(,X,;,Z,)=1-,H,2,(1-,),普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,22,3.2,离散单个符号信道及其容量,准对称,DMC,信道,如果转移概率矩阵,P,是输入对称而输出不对称，即转移概率矩阵,P,的每一行都包含同样的元素而各列的元素可以不同，则称该信道是,准对称,DMC,信道,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,23,3.2,离散单个符号信道及其容量,准对称,DMC,信道容量,对于准对称,DMC,信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,24,3.2,离散单个符号信道及其容量,Eg.,求信道容量,方法一：,信道的输入符号有两个，可设,p,(,a,1,),，,p,(,a,2,),1,信道的输出符号有三个，用,b,1,、,b,2,、,b,3,表示,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,25,3.2,离散单个符号信道及其容量,当,p,(,a,1,),p,(,a,2,),1/2,时，,p,(,b,1,),p,(,b,2,),(1-0.2)/2,0.4,C=H(Y)-H(Y/X)=0.036bit,/,符号,方法二,将转移概率矩阵划分成若干个互不相交的对称的子集,n,为输入符号集个数；,p,1,，,p,2,，,p,s,是转移概率矩阵,P,中一行的元素，即,H,(p,1,，,p,2,，,p,s,),H,(,Y,/,a,i,),；,N,k,是第,k,个子矩阵中行元素之和，,M,k,是第,k,个子矩阵中列元素之和，,r,是互不相交的子集个数,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,26,3.2,离散单个符号信道及其容量,方法二,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,27,3.2,离散单个符号信道及其容量,Eg.,求信道容量,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,28,3.2,离散单个符号信道及其容量,一般,DMC,信道,1972,年由,R.Blahut,和,A.Arimoto,分别独立提出的一种算法，现在称为,Blahut-Arimoto,算法,I(a,i,;Y),=,C,对于所有满足,p,(,a,i,)0,条件的,I,I(a,i,;Y),C,对于所有满足,p,(,a,i,)=0,条件的,I,当信道平均互信息达到信道容量时，输入符号概率集,p,(,a,i,),中每一个符号,a,i,对输出端,Y,提供相同的互信息，只是概率为零的符号除外,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,29,3.3,离散序列信道及其容量,离散序列信道,信道,p,(,Y,/,X,),Y,X,X,=(,X,1,X,2,X,L,),X,l,a,1,a,2,a,n,Y,=(,Y,1,Y,2,Y,L,),Y,l,b,1,b,2,b,m,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,30,3.3,离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,进一步信道是平稳的,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,31,3.3,离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,如果信道无记忆,如果输入矢量,X,中的各个分量相互独立,当信道平稳时,C,L,=LC,1,，一般情况下，,I,(,X,;,Y,),LC,1,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,32,3.3,离散序列信道及其容量,1,1,1,1,1,BSC,的二次扩展信道,X,00,01,10,11,，,Y,00,01,10,11,，二次扩展无记忆信道的序列转移概率,p,(00/00)=,p,(0/0),p,(0/0)=(1-,p,),2,，,p,(01/00)=,p,(0/0),p,(1/0)=,p,(1-,p,),，,p,(10/00)=,p,(1/0),p,(0/0)=,p,(1-,p,),，,p,(11/00)=,p,(1/0),p,(1/0