第2章 信息论基本知识.ppt

数字通信原理
(2)
2001 Copyright
1
SCUT DT&P Labs
第二章信息论基本知识
2001 Copyright
2
SCUT DT&P Labs
信息的度量
1. 信息与消息
消息是由符号、文字、数字、语音或图像组成的序列;
收到一则消息后,所得的信息量,在数量上等于获得消息前后“不确定性”的消除量;
消息是信息的载体,信息是消息的内涵;
通信的目的在与传送信息。
2001 Copyright
3
SCUT DT&P Labs
信息的度量
2. 信息的度量
不确定性--可能性--可能性的大小可用概率来度量;
信息的度量方式还应满足可加性;
信息量应该是事件发生概率的函数;
2001 Copyright
4
SCUT DT&P Labs
信息的度量
3. 离散信源的信息量
离散信源统计特性的描述--概率场
设离散信源包含N中可能的符号,相应的概率场:
x1 x2 x3 . . . . . xN
p(x1) p(x2) p(x3) . . . . . P(xN)
例:英文字母出现的概率,见表2-1
汉字电报中数字代码出现的概率,见表2-2
2001 Copyright
5
SCUT DT&P Labs
信息的度量
定义离散消息Xi的信息量I(Xi):
I(Xi)= log(1/p(Xi))= -log(p(Xi))
信息量的单位与对数的低有关:
log以2为底时,单位为比特:bit;
log以e为底时,单位为奈特:nit。
事件Xi出现的概率越小,信息量越大;
信息量具有“相加性”。
2001 Copyright
6
SCUT DT&P Labs
信息的度量
两个离散信源的联合信息量 I(XiYj)
设 Xi∈X, Yj∈Y,
I(XiYj)= -log(P(XiYj))= -log(P(Xi/Yj)P(Yj))
= -log(P(Xi/Yj)) – log(P(Yj))
若X与Y统计独立:
I(XiYj)= -log(P(Xi)) – log(P(Yj))
= I(Xi)+I(Yj)
2001 Copyright
7
SCUT DT&P Labs
信息的度量
离散通信系统的信息传递--互信息量
设 X为发送符号集, Y为接收符号集
p(Xi)的分布通常已知,称为先验概率;
收到Yj后,估计Xi出现的概率,成为后验概率:
p(Xi/Yj)。
定义互信息量:
I(Xi,Yj)= log(p(Xi/Yj)/ p(Xi))
2001 Copyright
8
SCUT DT&P Labs
信息的度量
▲若Yj的出现必可推出Xi的出现:p(Xi/Yj)= 1
I(Xi,Yj) = I(Xi)
(理想信道情况)
▲若Yj的出现与Xi是否出现无关,则p(Xi/Yj)=p(Xi)
I(Xi,Yj) = 0
(信道受严重干扰无法通信的情况)
▲可以证明,互信息具有对称性:
I(Xi,Yj) = I(Yj,Xi)
2001 Copyright
9
SCUT DT&P Labs
离散信源的平均信息量--信源的熵
定义,离散信源X的熵为:
H(X)= ∑p(Xi)log(p(Xi))
离散信源的熵是统计意义上的平均信息量。

利用信源的熵,可以方便地估算消息序列所包含的总信息量。
(比较例2-3与例2-5)
2001 Copyright
10
SCUT DT&P Labs