条件熵联合熵及熵的性质.ppt

该【条件熵联合熵及熵的性质 】是由【165456465】上传分享，文档一共【35】页，该文档可以免费在线阅读，需要了解更多关于【条件熵联合熵及熵的性质 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。信源及其信息熵
单击此处添加副标题
单击此处添加正文，文字是您思想的提炼，请尽量言简意赅的阐述观点。
PART ONE
条件熵及联合熵
条件熵
要用联合概率加权
条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。
条件熵是在联合符号集合XY上的条件自信息量的数学期望。
在已知随机变量Y的条件下，随机变量X的条件熵定义为：
联合熵
联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。
熵、条件熵、联合熵关系
01
一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,,接收端除收到0和1的符号外,还有不确定符号“2”
已知X的先验概率:
p(x0)=2/3, p(x1)= 1/3,
符号转移概率：
p(y0|x0)=3/4, p(y2|x0)=1/4
p(y1|x1)=1/2, p(y2|x1)=1/2，
X
Y
0
1
0
1
2
3/4
1/2
1/2
1/4
信源熵H(X)
例题
由
例题
条件熵H(Y|X)
得联合概率：
p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2
p(x0y1) = p(x0) p(y1 |x0) = 0
p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6
p(x1y0) = p(x1) p(y0 |x1) = 0
p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6
p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6
得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2
p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6
p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3
由
例题
信源输出熵H(Y)
联合熵H(XY)
H(XY)＝H(X)＋H(Y|X)=
例题
添加标题
添加标题
添加标题
添加标题
添加标题
得
同理 p(x0 |y1)=0 ； p(x1 |y1)=1
p(x0 |y2)=1/2； p(x1 |y2)=1/2
条件熵H(X|Y)
或 H(X|Y)= H(XY)-H(Y)=-1047=
由
熵的基本性质
单击此处添加文本具体内容，简明扼要地阐述你的观点