04率失真编码.ppt

内容提要
数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定理）指出：率失真函数R (D) 就是在给定失真测度条件下，对信源熵可压缩的最低程度。
本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性质及定量计算。R (D) 的计算很烦琐，文中通过二个例子介绍了几种特殊情况下R (D )的求法，一般情况只能用参数法求解。
第4章 率失真编码
1．失真测度d( x, y )
给定离散信源 ，信道
输出符号yj引起的失真用 d (xi ,y j)（i =1, 2, …,I j = 1, 2, …, J）表示，简记为d i j，将所有的d i j列出来，可以得到下面的失真测度矩阵
(4-1)
在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数R(D)。
失真测度与平均失真
【】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …, yK}，约定失真测度
上述约定可以用矩阵表示为
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为yj引起的失真度。
对于矢量传输情况，若信道的输入、输出均为N 长序列X = X1 X2 … XN ，Y = Y1 Y2 … YN ，定义失真测度为

（4-2）
【】 平方误差失真测度
信源输出符号X = {0, 1, 2}， 信道输出符号Y = {0, 1, 2} ， 给出失真测度d i j = (xi - yj )2 i, j = 0, 1, 2
则失真测度矩阵为
【】 绝对值误差失真测度
信源输出符号X = {0, 1, 2}，信道输出符号Y = {0, 1, 2} ，给出失真测度
d i j = ︱xi - yj ︱ i, j = 0, 1, 2
则失真测度矩阵为

离散信源 ，经有扰信
道传输，信道输出符号为Y = {y1, y2, …, yJ}，平均失真即对d i j（i =1, 2, …,I; j = 1, 2, …, J）求统计平均值，记为

（4-4）
平均失真 是对在给定信源分布q(x)条件下，通过有扰信道传输而引起失真的统计平均度量。
率失真函数的定义
给定信源，即信源概率分布q (x) 一定，给定失真测度矩阵[d]=[dij]，寻找信道，记它的转移概率矩阵为
，要求满足

（4-11）
式中D是预先给定的失真度，上式称为保真度准则。
信息率失真函数R(D)
根据[]，当信源q (x)一定时，平均互信息量I (X ; Y)是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个极小值为率失真函数R(D)，即：
(4-12)
式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足 的 前提下，使I (X ; Y) 达到最小值R(D) ，这就是满足平均失真 条件下的信源信息量可压缩的最低程度。
（1）D的最小值Dmin
在给定的失真测度矩阵中，对每一个xi，找一个最小的 d i j ，然后对所有的i =1, 2, …,I求统计平均值，就是D的最小值，即