率失真函数.ppt

本章讨论主要问题:
在允许一定失真存在的条件下,能够将信源信息压缩到什么程度,即最少需要多少比特信息才能够描述信源,如何能够快速的传输信息。
信息率失真理论的基本概念:
在允许传输消息出现一定的失真条件下,传输该消息所需的信息率(最小值)将会比不允许失真时小,并且允许的失真度越大,则信息率(最小值)允许减小的程度就越大。
引入限失真的必要性
失真在传输中是不可避免的
连续信源的绝对熵为无限大,若要无失真地进行传输,则要求信息传输率也为无限大,然而现实世界中信道带宽总是有限的,信道容量总有一定限度,因此不可能实现完全无失真的信源信息的传输
另一方面,从无失真信源编码考虑,由于要求码字包含的信息量不小于信源的熵,所以对于连续信源,要用无限多个比特才能完全无失真地来描述,这是不现实的
即使是离散信源,若要处理的信息量很大,采用无失真编码将使得信息的存储和传输成本非常高,而且在很多场合,过高的信息传输率是不必要的
平均失真和信息率失真函数
在实际问题中,信号有一定的失真是可以容忍的。但是当失真大于某一限度后,信息质量将被严重损伤,甚至丧失其实用价值。要规定失真限度,必须先有一个定量的失真测度。为此可引入失真函数。
失真函数
设信源发出符号xi :xi∈{a1,…,an}, 信宿端接收到的的符号为yj, yj∈{b1,…,bm}.
如果xi=yj,没有失真;
如果xi≠yj,产生失真。
失真大小用失真函数d(xi,yj)表示
失真函数又称为失真度。为简化起见,d(xi,yj)简写成dij,
d(xi,yj)=
0
α
xi=yj
xi≠yj
一般dij值的大小表示失真的程度,
表征了接收消息yj与发送消息xi之间的定量失真度。
失真函数性质:
失真函数类型
均方失真
d(xi,yj)=(xi-yj)2
绝对失真
d(xi,yj)=|xi-yj|
相对失真
d(xi,yj)=|xi-yj|/|xi|
误码失真
d(xi,yj)=
0
1
xi=yj
其他
用于连续信源
若X和Y集合都由N个不同符号构成的,那么可组成N2个不同的(i,j)对,相对应的失真函数也有N2个
若X和Y集合分别由N个和M个不同符号构成的,那么可组成N*M个不同的(i,j)对,相对应的失真函数也有N*M个
dij有两种表示方法,一是失真矩阵D,二是消息传输图。
将所有失真函数排列起来,得到失真矩阵D
D=
d(a1,b1)
d(a1,b2)
…
d(a1,bm)
d(a2,b1)
d(an,b1)
…
…
…
d(an,b2)
d(a2,b2)
d(a2,bm)
d(an,bm)
失真矩阵
消息传输图
X
Y
x1
x2
xi
xN
…
…
…
…
y1
y2
yj
yM
d11
d12
d1j
d1M
dN1
dNM
dNj
dN2