《信道失真率函数》.ppt

第四章　信息率失真函数
　基本概念
　离散信源的信息率失真函数
　连续信源的信息率失真函数
　保真度准则下的信源编码定理
1
编辑课件
　基本概念
　失真函数与平均失真度

如果规定平均失真度不超过某一允许失真的上界 D(最大允许平均失真度，简称允许平均失真度)，则称：
为保真度准则
满足保真度准则的限定条件下，求信息传输率的最小值
9
编辑课件
符号序列的失真度
若信源是单符号离散无记忆信源的 N 次扩展，其限失真编码可视为 N 长随机序列 经由单符号离散无记忆信道的 N 次扩散信道，再现为 N 长的随机序列
N 长输入符号序列 与 N 长输出符号序列 间的失真函数：
由于 N 次扩展信源和 N 次扩展信道都是无记忆的，因此：
10
编辑课件
符号序列的平均失真度
符号序列的平均失真度：
符号序列的保真度准则：
为同一单符号离散无记忆信源 X 在 N 个不同时刻通过同一单符号离散无记忆信道所造成的平均失真度，因此都等于单符号离散无记忆信源 X 通过单符号离散无记忆信道所造成的平均失真度，即：
11
编辑课件
　信息率失真函数的定义
在单符号信源已知并规定了单符号失真度后，并非所有的信道都能满足保真度准则 ；凡满足保真度准则的信道称为 D 失真许可试验信道，所有的 D 失真许可试验信道构成集合：
对于离散无记忆 N 次扩展信源和 N 次扩展信道，相应的 D 失真许可试验信道为：
对于固定的信源分布，平均互信息是信道转移概率的下凸函数，也就是说，存在一个信道使给定的信源经过此信道传输时，信道的平均互信息达到最小
信源限失真编码后的信息传输率 R 就是通过试验信道的平均互信息 I ( X; Y )， 为了便于传送和处理， 人们总是希望将信息传输率 R 压缩到最小
12
编辑课件
信息率失真函数的定义(续)
给定信源和失真度后，在所有的 D 失真许可试验信道中，寻找一个信道使得从输入端传送过来的信息量最小。这个最小的平均互信息称为信息率失真函数 R ( D )，简称率失真函数：
在研究 R ( D ) 时，计算 I ( X; Y ) 所用的条件概率并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道的信道特性。实际上这些信道反映的仅是不同的限失真信源编码，或称信源压缩
R ( D ) 是在限定允许平均失真为 D 时信源最小信息传输率；可以通过改变试验信道特性来达到，实质上是选择一种限失真信源编码方式使试验信道的信息传输率为最小，即在满足保真度准则下，使信源的压缩率达到最高
13
编辑课件
率失真函数的定义域 (D 的下界)
允许失真度 D 是平均失真度的上限，而 是非负函数
的数学期望，因此 D 的下界至多为 0，对应于无失真的情况，此时信息传输率应等于信源输出的信息熵，即
D 能否达到下界 0，与单个符号的失真函数有关；在给定的失真矩阵中，对每一个 xi，找一个 yj 与之对应，使 d ( xi , yj ) 最小，
不同的 xi 对应的最小 d ( xi , yj ) 也不相同。相当于在失真矩阵的每一行找一个最小的 d ( xi , yj )，然后对各行不同的 d ( xi , yj ) 求统计平均值，就是信源平均失真度上限的下界
显然，如果失真矩阵的每一行至少有一个 0 元素，信源平均失真度上限 D 的下界才能取到 0
14
编辑课件
率失真函数的定义域 (D 的上界)
R ( D ) 是在一定约束条件下平均互信息 I ( X; Y ) 的最小值，由于I ( X; Y ) 是非负的，其下界为至多为 0
如果不允许失真，平均传送一个信源符号所需的信息传输率最大，R ( D ) 可以达到信源熵；反之如果允许一定的失真，则信息传输率可以小一些；或者说信息传输率越小，容忍的平均失真度越大
显然，当 R ( D ) 达到下界 0 时，允许的平均失真度最大，由于满足 R ( D ) = 0 的 D 可以有无穷多个，定义使 R ( D ) = 0 成立的最小的 D 值为率失真函数的定义域的上界 Dmax
当 R ( D ) = 0 时，最小的 I ( X; Y ) = 0 ，这相当于 X 和 Y 相互统计独立的情况；这意味着接收端收不到信源发送的任何信息，与信源不发送任何信息是等效的，所以在理论上，传送信源符号的信息传输率可以压缩至 0
15
编辑课件
率失真函数的定义域(Dmax 的计