信息论与编码信息率失真函数与限失真编码.pptx

1第5章信息率失真函数与限失真编码信道编码定理虽然告诉我们,有噪声信道的无失真的编码似乎是可能的,但是,这里的无失真只能无限逼近于0,而无法达到0,除非编码分组的长度是无穷大,因此从这个角度,有噪声信道无失真的要求也是不可能的。然而在实际生活中,人们一般并不要求完全无失真恢复信息,通常要求在保证一定质量(一定保证度)的条件下再现原来的消息,也就是说允许失真的存在。学习得来终觉浅,绝知此事要自悟2第5章信息率失真函数与限失真编码不同的要求允许不同大小的失真存在,完全无失真的通信既不可能也无必要,有必要进行将失真控制在一定限度内的压缩编码,我们称为限失真编码。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容及相关的编码方法。第5章信息率失真函数与限失真编码如何进行这种限失真编码呢?考虑我们前面提出的问题,如果要将有10万位小数的1-100之间的数字进行压缩,我们可以采取四舍五入的方法,将这个数转换为只有10位小数的数值,由于小数点10位之后的数值都是微不足道的,所以这种压缩带来的失真并不大。我们可以理解为将一个集合中的元素映射为另外一个集合中的压缩,或者是映射为原集合中的一部分的元素。,我们可以建立研究限失真信源编码(有损压缩)的系统模型:信源发出的消息X通过有失真的信源编码输出为Y,由于是有失真的编码,所以X和Y的元素不存在一一对应的关系,我们可以假设X通过一个信道输出Y,这种假想的信道我们称为试验信道。这样,我们就可以通过研究信道的互信息来研究限失真编码,而X和Y的关系也可以用转移概率矩阵(信道矩阵)来表示。-1限失真编码模型除了描述输入输出的关系外,我们还关心如何才能限制失真的问题,因为这一切都是建立在限失真的要求之上的,既然要限制失真,就需要有关于失真的度量。?我们先从最为简单的单个符号的信源的失真度量(distortionmeasure)开始,然后以此为基础来建立更多符号的失真度量。,信道的转移概率矩阵对于每一对(xi,yj),指定一个非负的函数d(xi,yj)为单个符号的失真度或失真函数(distortion-function)。用它来表示信源发出一个符号xi,而在接收端再现yj所引起的误差或失真。失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。有时候未必能够证明为什么采用这个函数是合理的,其他的函数没有它好。我们假设发出一个符号,如果收到也是它,则失真为0,如果收到的不是它,而是其他的符号,则存在失真,失真函数大于0,即有:失真度还可表示成矩阵的形式:[D]称为失真矩阵。它是n×m阶矩阵。(5-1)9均方失真:相对失真:误码失真:绝对失真:前三种失真函数适用于连续信源,后一种适用于离散信源。,要进行最大限度的压缩,根据香农第一定理,压缩的极限为H(Y)=I(X;Y)。但是,我们必须考虑信息压缩造成的失真是在一定的限度内的,因此,这个平均互信息量应该在我们允许的失真范围内尽量小。从直观感觉可知,若允许失真越大,信息传输率可越小;若允许失真越小,信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的,对信息进行压缩的效果与失真也是相关的。