,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,4.3.1 统计编码原理,信息量和信息熵,图像的概率分布、信息量和信息熵之间有什么关系？在图像编码压缩理论研究中，为什么要引入信息论中“熵”值的概念，有什么重要意义？这是我们下面需要说明的问题。,4.3.1 统计编码原理 信息量和信息熵,1,以一个信源编码器模型说明,编码器,信源(消息集),编码输出集(接收端),X=x,1,x,2,x,n,Z=z,1,z,2,z,n,符号集,A,m,=a,1,a,2,a,m,编码器模型图,其中,X是消息集,由几个信号单元x,j,构成（j=1,2,n）,Z是输出集，由几个码字z,j,构成（j=1,2,n），z,j,与x,j,一一对应。,A,m,是符号集，由m个码元a,i,构成(i=1,2,m)，符号集中的码元组成输出码字。,以一个信源编码器模型说明信源(消息集)编码输出集(接收端)X,2,一.概念:,1.信息:是用不确定性的量度定义的。,2.信息量:从N个相等可能事件中选出,一个事件所需要的信息度量或含量。,3.熵:如果将信源所有可能事件信息量,进行平均就得到信息的熵(熵就是平,均信息量)。,一.概念:,3,(1).信源均含有的平均信息量(熵),就是进,行无失真编码的理论极限。,(2).信源中或多或少的含有自然冗余。,(3).则信息源X的熵为:,取以 2为底：,(1).信源均含有的平均信息量(熵),就是进,4,Shannon 论文,传输包括:,(1).传输所需要的信息。,(2).以任意小的失真或零失真接收这些信息。,已经证明：只要符号速率不超过信道容量,C符号可以以任意小的差错概率向该信道中传,输。,Shannon 论文传输包括:,5,另外几种典型的方法是:Fans,Huffman,编码方法定理,变字长编码,最佳编码定理。,另外几种典型的方法是:Fans,6,变字长编码定理,在变字长编码中，对于出现概率大,的信息符号，编以短字长的码,对于出现,概率小的信息符号编以长字长的码，如,果码字长度严格按照符号概率的大小的,相反顺序排列，则平均码字长一定小于,按任何其他符号顺序排列方式得到的码,字长度。,变字长编码定理 在变字长编码中，对于出现概率大,7,英文字母出现的概率按大小排列,该英文字母编码的码长按大小排列,概率大,码长短,英文字母出现的概率按大小排列该英文字母编码的码长按大小排列概,8,证明:,最佳的平均码字长度:,其中：P(ai)是信源符号ai出现的概率；,ni是符号ai的编码长度。,证明:,9,根据编码方法定义规定：,P(a,i,)=P(a,s,),nins,如果将a,i,的码字与a,s,的码字互换，则:,根据编码方法定义规定：,10,(一).熵、熵编码原理、变字长编码最佳,编码定理。,(二).Huffman就是利用了这个定理进行,编码。,(1).把信源符号按概率大小顺序排列，,并设法按逆次序分配码字的长度。,(2).在分配码字长度时，首先将出现概率,最小的两个符号的概率相加合成一个概率。,(一).熵、熵编码原理、变字长编码最佳,11,(3).把这个合成概率看成是一个新组合符号地概率，重复上述做法直到最后只剩下两个符号概率为止。,(4).完成以上概率顺序排列后，再反过来逐步向前进行编码，每一次有三个分支各赋予一个二进制码，可以对概率大的赋为零，概率小的赋为1。,(3).把这个合成概率看成是一个新组合符号地概率,12,