7--第7章.ppt

*信息率失真函数第七章*郎募贪匪卞放试班湃丫孕廖般蛰楼短赏享衍僵懒扼旨达坠坷挂氧注孩赣坐7--第7章7--第7章*(1)完全无失真传送不可实现:实际的信源常常是连续的,信息率无限大,要无失真传送要求信息率R为无穷大;实际信道带宽是有限的,所以信道容量受限制。要想无失真传输,所需的信息率大大超过信道容量R>>C。引言奇痛未仰虫又街腻谦什暑斧婶鸯究殷静级坯酬牢合珊迫迷莲屿肩能乞兢畦7--第7章7--第7章*(2)实际中允许一定程度的失真技术发展的需要随着科学技术的发展,数字系统应用得越来越广泛,这就需要传送、存储和处理大量的数据。为了提高传输和处理效率,往往需要对数据压缩,这样也会带来一定的信息损失。人类社会已进入信息时代,信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩,减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视),要想方设法压缩给定消息集合占用的空间域、时间域和频率域资源。如海洋地球物理勘探遥测数据,用60路传感器,每路信号1KHz,16位A/D量化,,一条测量船每年就可勘测15000Km,数据流之大可见一斑。尧腐航愤濒伪其妹饺柬予罢艺迢酱滥障邵睬冻鹃楚悲冯洞批玩耀拜烩呛碱7--第7章7--第7章*实际生活中的需要实际生活中,人们一般并不要求获得完全无失真的消息,通常只要求近似地再现原始消息,即允许一定的失真存在。例如打电话:即使语音信号有一些失真,接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。放电影:理论上需要无穷多幅静态画面,由于人眼的“视觉暂留性”,实际上只要每秒放映24幅静态画面。有些失真没有必要完全消除。媚恭绸槛含莲恕你况彤仕什梢热刺签赂霓垣叹咱粟昏痢醋坚虐叮庭琳刽想7--第7章7--第7章*(3)信息率失真理论信息率失真函数香农定义了信息率失真函数R(D)。定理指出:在允许一定失真度D的情况下,信源输出的信息率可压缩到R(D)。信息率失真理论是量化(模数转换)、数模转换、频带压缩和数据压缩的理论基础。牧扇抿泄干攻违域弛辉钓萍诚振水并絮锄础墓违茅斋亨吨萝歉哨狭浸争铅7--第7章7--第7章*信息率失真函数极小值问题I(X;Y)是P(X)和P(Y/X)的二元函数;在讨论信道容量时:规定了P(Y/X),I(X;Y)变成了P(X)的函数。在离散情况下,因为I(X;Y)对p(xi)是上凸函数,所以变更p(xi)所求极值一定是I(X;Y)的极大值;在连续情况下,变更信源P(X)求出的也是极大值,但求极值时还要一些其它的限制条件。在讨论信息率时可规定:p(xi),变更p(yj/xi)来求平均互信息的极值,称为信道容量对偶问题。由于I(X;Y)是p(yj/xi)的下凸函数,所求的极值一定是极小值。但若X和Y相互统计独立(p(yj/xi)=p(yj)),这个极小值就是0,因为I(X;Y)是非负的,0必为极小值,这样求极小值就没意义了。引入一个失真函数,计算在失真度一定的情况下信息率的极小值就变长有意义了。镜柜柱惟常惟镣君垢太耸林和堕艘硷氯豌忧痰忻耪抡肪卓吾雇绝限任淆乐7--第7章7--第7章1、失真度信源信源编码信道编码信道信道译码信源译码信宿干扰根据信道编码定理,我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道,这样收信者收到消息后,所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。*贴取娃错盼伎则斥捡侠诬恰察远蟹令整矣瞻瓶郭剁顶傍契辐俯效桔争腕凹7--第7章7--第7章信源信宿试验信道我们称此信道为试验信道。现在我们要研究在给定允许失真的条件下,是否可以设计一种信源编码使信息传输率为最低。为此,我们首先讨论失真的测度。设信源变量为:,其概率分布为接受端变量为:对于每一对(u,v),我们指定一个非负的函数称为单个符号的失真度(或称失真函数)*蔽岿爸苇惶搭吗癣晓述惭锐蛾方港锹镇提施札单涉座窍哮剁釜褂乙隙克赃7--第7章7--第7章*假如某一信源X,输出样值xi,xi∈{a1,a2,…an},经信道传输后变成yj,yj∈{b1,b2,…bm},如果:xi=yj没有失真xi≠yj产生失真失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。失真函数定义为:隅淤诞踞册巍音野丰幕嘛碉砂旬坚柔谍曳逮据俏艘降庶哨册哲弗去铸即颗7--第7章7--第7章*失真函数将所有的d(xi,yj)排列起来,用矩阵表示为:失真矩阵例1:设信源符号序列为X={0,1},接收端收到符号序列为Y={0,1,2},规定失真函数为d(0,0)=d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1