4 率失真编码.ppt

第4章
率失真编码
郧律仆零瑰崔败蓉易侩辛抨店淡合矢孵列脏均联情伎慨莎工兔沧俞婚骄羚4 率失真编码4 率失真编码
内容提要
数据压缩是信息传输和处理的重要研究内容,率失真理论研究的就是在允许一定失真的前提下,对信源的压缩编码。率失真信源编码定理(香农第三定理)指出:率失真函数R (D) 就是在给定失真测度条件下,对信源熵可压缩的最低程度。
本章只限于研究率失真理论最基本的内容,失真测度,率失真函数,率失真函数的定义域,值域,性质及定量计算。R (D) 的计算很烦琐,文中通过二个例子介绍了几种特殊情况下R (D )的求法,一般情况只能用参数法求解。
第4章率失真编码
拆芦帆什杆解烷妙魁锚很念因煞控黔署烫液盅忙屑傲血竿韭辛蒙杰嚎蒙休4 率失真编码4 率失真编码
( x, y )
给定离散信源,信道
输出符号yj引起的失真用 d (xi ,y j)(i =1, 2, …,I j = 1, 2, …, J)表示,简记为d i j,将所有的d i j列出来,可以得到下面的失真测度矩阵
(4-1)
在允许一定失真的前提下,从提高传输效率的角度出发,可以对信源信息量事先进行压缩再予传输,这章要讨论的问题就是给定一个失真度,求出在平均失真小于给定值的条件下,信源所能压缩的最低程度,即率失真函数R(D)。
失真测度与平均失真
业滨并脂秉瘸械行币宾父冀净炊败饱罕领击背母硷图全宴机吏蕾渔抨渝雌4 率失真编码4 率失真编码
【】汉明(Hamming)失真测度
信源输出符号X = {x1, x2, …, xK},信道输出符号Y = {y1, y2, …, yK},约定失真测度
上述约定可以用矩阵表示为
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为yj引起的失真度。
对于矢量传输情况,若信道的输入、输出均为N 长序列X = X1 X2 … XN ,Y = Y1 Y2 … YN ,定义失真测度为

(4-2)
罩蛰晓斧蔑葵瘴千省篮僵陕物哉抗茧调影禁筋疟伦盟巳段呆硷拆肇愈齿投4 率失真编码4 率失真编码
【】平方误差失真测度
信源输出符号X = {0, 1, 2}, 信道输出符号Y = {0, 1, 2} , 给出失真测度d i j = (xi - yj )2 i, j = 0, 1, 2
则失真测度矩阵为
【】绝对值误差失真测度
信源输出符号X = {0, 1, 2},信道输出符号Y = {0, 1, 2} ,给出失真测度
d i j = ︱xi - yj ︱ i, j = 0, 1, 2
则失真测度矩阵为
终败糜肖秸陇魏敛栗幼皇仲塔性碱珠扒贺记熙主总渤汽磅劲翰姥乔招秃萄4 率失真编码4 率失真编码

离散信源,经有扰信
道传输,信道输出符号为Y = {y1, y2, …, yJ},平均失真即对d i j(i =1, 2, …,I; j = 1, 2, …, J)求统计平均值,记为

(4-4)
平均失真是对在给定信源分布q(x)条件下,通过有扰信道传输而引起失真的统计平均度量。
涕温折瞎蹬臣脱赎讶蹬还盎靛溅离潜恬店涩扛快抉厨汛首赤约匪挝勾绘依4 率失真编码4 率失真编码
率失真函数的定义
给定信源,即信源概率分布q (x) 一定,给定失真测度矩阵[d]=[dij],寻找信道,记它的转移概率矩阵为
,要求满足

(4-11)
式中D是预先给定的失真度,上式称为保真度准则。
信息率失真函数R(D)
炮选乔豌俗瘫搔壹断旷度陆谣圭材王练濒舌宴推告大蛤唾腺猴搏狄狄洱山4 率失真编码4 率失真编码
根据[],当信源q (x)一定时,平均互信息量I (X ; Y)是信道转移概率函数p(y∣x)的∪型凸函数,这意味着可以关于p(y∣x)对平均互信息量I (X ; Y)求得极小值,定义这个极小值为率失真函数R(D),即:
(4-12)
式(4-12)的意义在于,选择p(y∣x)即选择某种编码方法在满足的前提下,使I (X ; Y) 达到最小值R(D) ,这就是满足平均失真条件下的信源信息量可压缩的最低程度。
杨团褒饰受佃稿服涯巴黔韶幅酮啪情析蛹碉溢战舟私忧疆天织蹄矾抚拐掷4 率失真编码4 率失真编码
(1)D的最小值Dmin
在给定的失真测度矩阵中,对每一个xi,找一个最小的 d i j ,然后对所有的i =1, 2, …,I求统计平均值,就是D的最小值,即

(4-14)
2. R(D)的定义域
率失真函数的值域、定义域
(D)的值域(参见图4-1)
率失真函数的值域为
0  R(D) H(X)
(4-13)
D
图4