LED风扇.docx

自信息量的单位
bit/符号
bit/消息
(无记忆信源)
例:某离散无记忆信源(DMS Discrete Memoryless Source)的概率空间为
信源发出消息202 120 130 213 001 203 210 110 321 010 021 032 011 223 210。
求该消息的自信息量以及消息中平均每符号的自信息量。
解:先求信源符号的自信息量:
单位都是 bit/符号
因为信源无记忆,即信源发出的符号串中各符号统计独立。因此,
符号串的自信息量等于各符号的自信息量之和。数一下消息中各符
号的个数,“0”有14个,“1”有13个,“2”有12个,“3”有6个,
因此,整个消息的自信息量为
还可计算出消息中平均一个符号的自信息量为
bit/符号
信源发出消息202 120 130 213 001 203 210 110 321 010 021 032
011 223 210。
信源发出消息222 120 132 213 221 223 210 112 321 012 021 032
011 223 212。该条消息包含的信息量又是多少呢?

多个随机事件或多个符号同时出现
bit/二元符号
bit/三元符号
注意:
当(xi,yj)相互独立时,有P(xi,yj)=P(xi)P(yj),那么就有 I(xi,yj)=I(xi)+I(yj)。
(xi,yj)联合事件所包含的不确定度在数值上也等于它们的联合自信息量。
例:同时扔一对骰子,当得知“两个骰子面朝上点数之和为2”或“面朝上点数之和为8”,请问这两种情况分别获得的信息量是多少?
均匀骰子,每个骰子每一面朝上的概率是相等的,都是1/6。
同时扔两个骰子,这两个骰子是相互独立的,所以两个骰子面朝上
就有36中可能状态,每种状态出现的概率都是1/36。
设两个骰子面朝上点数之和为2是事件A
只有一种可能:1+1
设两个骰子面朝上点数之和为8是事件B
有5种可能:2+6,6+2,3+5,5+3,4+4
定义:在事件yj出现的条件下,随机事件xi发生的条件概率为,则它的条件自信息量定义为条件概率对数的负值:
注意:
在给定yj条件下,随机事件xi所包含的不确定度在数值上与条件自信息量相同,但两者含义不同。
条件自信息量
如果X是观察输入,Y是观察输出
bit