,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章,离散信道及其容量,什么是“信道”？,Kelly,：,不愿或不能改变的部分,信源必须是随机的,信道决定了从信源到信宿的过程中信号所受到的各种影响,信道指定了接收机接收到各种信号的条件概率。输入信号的先念概念则由使用信道的接收机指定,2024/11/15,1,第四章 离散信道及其容量什么是“信道”？2023/8/81,DMC,数学上：输入、输出均可用随机变量序列进行描述，输入序列,X,1,X,2,是由发射机进行选择，信道则决定输出序列,Y,1,Y,2,的条件概率,DMC,由三部分组成,输入字符集,A,=,a,1,a,2,a,3,输出字符集,B=,b,1,b,2,b,3,条件概率分布,P,Y,|,X,(,|,X,),，描述了信道对输入信号的影响,2024/11/15,2,DMC数学上：输入、输出均可用随机变量序列进行描述，输入序列,离散无记忆：信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。,1.x,n,在信道传输时受到的影响与,n,时刻以前的输入信号无关。,2.DMC,是时不变的,2024/11/15,3,离散无记忆：信道在某一时刻的输出只与该时刻的输入有关，而与该,BSC（二元对称信道）,Epslon为交叉概率,2024/11/15,4,BSC（二元对称信道）Epslon为交叉概率2023/8/8,BSC解释,考虑一个通信系统，其发射机采用二进制频移键控,(BPSK),方式发射信号，即采用两个不同频率的正弦信号分别代表“,0,”,和“,1,”,。发射机每毫秒产生一个脉冲，代表“,0,”,和“,1,”,，该信号通过宽带信道进行传输。接收机每毫秒对接收到的信号作一次“硬判决”，由于传输媒介中噪声和接收机前端热噪声的影响，该判决会存在误差。如果带宽足够宽，则各次判决之间的误差是独立。此时，该信道可以用,BSC,进行建模。,2024/11/15,5,BSC解释考虑一个通信系统，其发射机采用二进制频移键控(BP,传输.,发送长度为,N,的分组,2024/11/15,6,传输.发送长度为N的分组2023/8/86,汉明距离,汉明距离：,两个分组之间不同比特的个数，比如,d(000,111)=3,d(101,011)=2,。,2024/11/15,7,汉明距离汉明距离：2023/8/87,BEC 二元擦除信道,Delta为擦除概率,2024/11/15,8,BEC 二元擦除信道Delta为擦除概率2023/8/88,本课程只讨论不带反馈的离散无记忆信道，即条件分布满足,这个假设并不代表各个输入,x,i,之间相互独立,2024/11/15,9,本课程只讨论不带反馈的离散无记忆信道，即条件分布满足2023,定理,对于离散无记忆信道，条件分布满足：,证明,2024/11/15,10,定理对于离散无记忆信道，条件分布满足：2023/8/810,定理,对于无反馈离散无记忆信道,证明,.,信道是,DMC,信道,2024/11/15,11,定理对于无反馈离散无记忆信道2023/8/811,2024/11/15,12,2023/8/812,等式成立的条件是,即输出分组是独立的,2024/11/15,13,等式成立的条件是2023/8/813,评论,该定理中，如果信源是无记忆,即独立输入导致独立输出,2024/11/15,14,评论该定理中，如果信源是无记忆2023/8/814,定理,如果信源是离散无记忆信源，则有,证明,.DMS,，,2024/11/15,15,定理如果信源是离散无记忆信源，则有2023/8/815,2024/11/15,16,2023/8/816,等式成立的条件,等价于,2024/11/15,17,等式成立的条件2023/8/817,评论,如果信道是离散无记忆信道,2024/11/15,18,评论如果信道是离散无记忆信道2023/8/818,定理,如果信源是离散无记忆信源，信道是离散无记忆信道，则,2024/11/15,19,定理如果信源是离散无记忆信源，信道是离散无记忆信道，则202,4.2,信道容量,在通信系统中，信道由条件概率,p(y|x),确定，而且一般情况下信道是给定的。比如设备制造商开发新的移动通信设备，必须在指定的频段使用，并且满足国家相关部门制定的入网标准。但通信系统中传输信息的用户可以自由的选择,p(x),，来最大化传输的速率。,2024/11/15,20,4.2 信道容量在通信系统中，信道由条件概率p(y|x)确,容量定义,定义离散无记忆信道的容量为：,容量定义定义离散无记忆信道的容量为：,无噪声二元信道,例,1,：无噪声二元信道每次传输的比特能精确接收，容量为,1bit,。也可以用公式计算，容量在输入等概时取得。,2024/11/15,22,无噪声二元信道例1：无噪声二元信道每次传输的比特能精确接收，,例,2.BSC,容量,二元对称信道容量，交叉概率为,epslon,例2.BSC容量二元对称信道容量，交叉概率为epslon,2024/11/15,24,2023/8/824,例,3 BEC,容量,例3 BEC容量,BEC,看起来似乎,H(Y),的最大值是,log3,，但可惜不论如何选择选择输入分布都取不到这个值，进一步猜测输入,X,分布为等概时，,Y,会等概。但这个猜测是错误，,X,等概时,进一步的证明，无论采用怎样的输入分布，输出,Y,都无法等概，或,H(Y),无法取得最大值,log3,。,2024/11/15,26,BEC 看起来似乎H(Y)的最大值是log3，但可惜不论如,设,E,代表事件,Y=e,，,设E代表事件Y=e，,2024/11/15,28,2023/8/828,直观解释,取得容量的分布为输入等概,由于,a,比例的信息在传输中被删除，且无法恢复，因而能够恢复的信息比例最多为,1-a,，从而最大传输信息即容量为,1-a,。,2024/11/15,29,直观解释取得容量的分布为输入等概2023/8/829,4.3,特殊信道的容量计算,离散输入对称信道,离散输出对称信道,对称信道,准对称信道,4.3 特殊信道的容量计算离散输入对称信道,信道转移概率矩阵,K,个输入，,J,个输出,行对应输入，列对应输出,，,p(j|k),代表的是输入为,k,，输出为,j,的条件概率,.,每一行的和是,1,信道转移概率矩阵K个输入，J个输出,列的和不一定是,1,，如,BEC,BSC,2024/11/15,32,列的和不一定是1，如BEC2023/8/832,1.,离散输入对称信道,定义：若信道转移概率矩阵所有行矢量都是第一行的置换，或者说离开每个输入节点的条件分布集合都相同。,1.离散输入对称信道定义：若信道转移概率矩阵所有行矢量都是,1.,离散输入对称信道,定理：对于离散输入对称信道，,H(Y|X),与,p(x),无关，且,其中 是离开每个节点的转移概率集合，也是转移矩阵每行的元素集合,1.离散输入对称信道定理：对于离散输入对称信道，H(Y|X,1.,离散输入对称信道,证：,例：,BSC:,例：,BEC:,1.离散输入对称信道证：,1.,离散输入对称信道,容量：,容量的计算转化为计算：,1.离散输入对称信道容量：,2.,离散输出对称信道,定义：如果,P,的每一列都是第一列的置换。或者说进入每个输出节点的条件分布集合都相同。,引理：对于离散输出对称信道，如果输入服从均匀分布,p(x)=1/K,，则输出也服从均匀分布,p(y)=1/J,。即一致输入会导致一致输出。,2.离散输出对称信道定义：如果P的每一列都是第一列的置换。,引理证明,注意到 代表的是进入输出节点y的K个条件概率的和,2024/11/15,38,引理证明注意到 代表的是进入输出,定理,定理,3,：对于离散输出对称信道，有,且取得该值的输入分布为一致分布，即,p(x)=1/K,证明：由引理,2,知一致输入可得到一致输出，一致输出可得到,最大熵,log,J,例：,BSC,是离散输出对称信道，,BEC,不是,定理定理3：对于离散输出对称信道，有,3.对称信道,定义：同时满足输入对称和输出对称的离散信道,容量：,3.对称信道定义：同时满足输入对称和输出对称的离散信道,例：,BSC,信道容量,取得该容量的输入分布为,2024/11/15,41,例：BSC信道容量2023/8/841,准对称信道,BEC,信道不是对称信道，但该信道有明显的对称性！,BEC,可以分解为如下两个对称信道：,分解成：,输入以概率 选择信道,C1,和,C2,准对称信道BEC信道不是对称信道，但该信道有明显的对称性！B,2024/11/15,43,2023/8/843,准对称信道,定义 准对称信道：如果该,DMC,能分解成,L,个对称信道。,定理：如果各对称信道被选择的概率为 对应的,L,个对称信道的容量为 ，则准对称信道容量为,准对称信道定义 准对称信道：如果该DMC能分解成L个对称信道,推论：准对称信道必为离散输入对称。,判断方法：将矩阵,P,按输出,Y,进行划分，如果能分解成,L,个对称矩阵，则为准对称信道。,Remark,：取得准对称信道容量的输入分布为等概分布。,2024/11/15,45,推论：准对称信道必为离散输入对称。2023/8/8,例,1,：转移矩阵,不是对称信道，但是准对称信道，可分解为：,例1：转移矩阵,例2 K元对称信道,转移概率为转移矩阵如下，该信道为对称信道，容量为,例2 K元对称信道转移概率为转移矩阵如下，该信道为对称信道，,2024/11/15,48,2023/8/848,END,2024/11/15,49,2023/8/849,