通信原理17.ppt

第6章信源与信源编码
§ 率失真理论
§ 通信的容量
4/28/2018
1
山东大学曹叶文教授
基于信源编码理论:对于有记忆信源,可靠地恢复信源信号, 表示当分组长度趋向无穷(即以熵速率传输),错误概率接近0。然而,很多情况下,接近熵的速率传输是不可能的。例如,如果存储空间有限,而信源输出的信息量大于存储容量,则从存储数据中无误差地恢复信源信号是不可能的。在这些情况下,必须采用有损的压缩技术,此时会引入一些失真。
简介:
4/28/2018
2
山东大学曹叶文教授
互信息量 I(X;Y)的定义
I(X;Y)= H(X) - H(X|Y)
Y知道后,关于信源X的熵或不确定度
信源X输出的平均信息量

由Y和X共同提供的信息量
I(X;Y) 有很多特性:
称为两个随机变量的互信息量。
I(X;Y) 在信源编码与信道编码应用非常多。
I(X;Y) 的理解:发送X下,收到Y时给出或传输的信息量。
4/28/2018
3
山东大学曹叶文教授
证明:
即:
4/28/2018
4
山东大学曹叶文教授
I(X;Y)
X
Y
I(X;Y) = H(X) +H(Y)-H(X,Y)
证明
H(X,Y) = H(Y) + H(X|Y)
= H(Y) + H(X) -I(X;Y)
I(X;Y) = H(X) +H(Y)-H(X,Y)
4/28/2018
5
山东大学曹叶文教授
如果 X 和Y 是相互独立的,则I( X;Y)= 0
证明:
根据I( X,Y)的定义:
4/28/2018
6
山东大学曹叶文教授
I(X,Y)其他特性:
I(X;Y|Z) = H(X|Z) -H(X|Y,Z)
I(X,Y;Z) = I(X;Z) + I(Y;Z|X)
I(X1,…,Xn;Y)=I(X1;Y)+I(X2;Y|X1)+ …
+I(Xn;Y|X1,X2,…,Xn-1)
4/28/2018
7
山东大学曹叶文教授
★微分熵
h(x)处理的是一个时域离散、幅度连续的信源,并且信源输出是实数,这时将不会存在熵的自然属性。
在连续信源的情况下,定义了另一个类似熵的量,称为微分熵。然而,它没有熵所具有的直观含义。
4/28/2018
8
山东大学曹叶文教授
其中, 是连续随机变量X的PDF 。
微分熵定义
4/28/2018
9
山东大学曹叶文教授
例 1 求在[0,a]上均匀分布的随机变量X的微分熵。
h(x) 既可能为负数,又可能为0,这与离散信息熵的性质不同。
解:
注意:
4/28/2018
10
山东大学曹叶文教授