,即信源
X={黑,白}。设黑色出现的概率为p(黑),白色出现的概率为P(白)。
(1)假设图上黑白消息出现前后没有关联,求熵H(X);
⑵假设消息前后有关联,其依赖关系为
,即信源
X={黑,白}。设黑色出现的概率为p(黑),白色出现的概率为P(白)。
(1)假设图上黑白消息出现前后没有关联,求熵H(X);
⑵假设消息前后有关联,其依赖关系为P(白/白)=,P(黑/白),P(白/黑),P(黑/黑),求此一阶马尔可夫信源的熵H(X);
OO
⑶分别求上述两种信源的剩余度,比较H(X)和H(X)的大小,
OO
并说明其物理含义。
解:
(1)
H(X)二一丫p(x)logp(x)=—(+) i 2
i
(2)
p(黑/黑)=
p(白/白)=
e2
e1
p(白/黑)=0・2
p(e)=p(e)p(e/e)+p(e)p(e/e)
J1 1 11 2 12
p(e)=p(e)p(e/e)+p(e)p(e/e)
2222121p(e)=(e)+(e)
J112
p(e)=(e)+(e)
221
'p(e)=2p(e)
J21
p(e)+p(e)=1
12
p(e)=1/3
J1
p(e)=2/3
2
H=—W p(e)p(e/e)logp(e/e)
g iji ji
ij
1 1 2 2
=—(-+—+—+—)log10
3 3 3 3 2
(3)
n=
1
n=
1
H—H
0g
H
0
H—H
0g
H
0
=
=log22-=%
2
log2—
= 2 =%
loo
2
H(X)>H(X)
8
表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。
极限熵计算 来自淘豆网m.daumloan.com转载请标明出处.
