信息论实验报告.docx

淮阴师范学院
（信息论与编码实验报告）
姓名：董宝坤学号：171313199专业：电子信息工程班级：1305指导老师：宋毅
实验一、绘制二进制燔函数曲线
、实验目的
掌握二进制符号嫡的计算；
.掌握MATLAB的应用；
.P11
p12
Pis
PP21
p22
P2s
Pr1
Pr1
prs
而且满足Pij
i是行的标号j是列的标号
平■均互信息
平均互信息表示接收到输出符号后平均每个符号获得的关丁输入变量X的信息量，也表示输入与输出两个随机变量之间的统计约束程度。
11I(X;Y)P(x)log——P(xy)logXP(x)XYP(x|y)11P(xy)lo^^—P(xy)log——XYP(x)XYP(x|y)P(xy)logP(x1y)XYP(x)P(xy)
P(xy)logxyP(x)P(y)P(xy)logfMxyP(y)其中X是输入随机变量，Y是输出随机变量。
平均互信息是互信息（即接收到输出符号y后输入符号x获得的信息量）的统计平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关丁输入符号X的信息量。
对丁每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我
们把这个最大值称为该信道的信道容量CmaXI(X;Y)}
相应的输入概率分布称为最佳输入分布四、
X
P(x)
0,1
-1
平■均互信息:
I(X;Y)H(Y)H(Y/X)H(Y)
P(x)
XY
P(y/x)logP(y/x)
11H(Y)P(x)[plogplog]
Xpp11H(Y)[plogplog]H(Y)H(p)
pp
r根据：P(bj)P(^)P(bj|ai)1i1所以:
2P(y0)P(ai)P(0|ai)P(0)P(0|0)P(1)P(0|1)p"pi12—、，1…1一,1、p)log=;[plog—plog](pp)pp
P(y1)P(ai)P(0|ai)P(0)P(1|0)P(1)P(1|1)p一pi1I(X;Y)
1
H(Y)H(p)(pp)log——(p
pp
H(pFH(p)
请绘制当,
一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表XY{0,1}，且该信道特性由发送1码和0码的两个错误转移概率P(0|1)e和P(0|1)0来表征。绘出当e0,,,,,,,,,,1时的平均互信息I(X;Y)和pP(X1)关的函数关系。确定每种情况下的信道容量。
五、实验结果及分析clear;w=;p=::;y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);plot(p,y);title('二进制信道的信道容量');Xlabel('p');ylabel('I(W;Y)');gridon
当BSC信道，C=1-H(w)，当w=0时，错误概率为0,无差错，信道容量达到最大,每符号1bit,输入端的信息全部传输至输出端；当w=1/2时，错误概率与正确概率相同，从输出端得不到关于输入端的任何信息，互信息为0，在信道接收端平均每个符号才获得最小的信息量，即信道容量为0;clear;p=;w=::;y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);plot(w,y);title('二进制信道的信道容量');Xlabel('w');ylabel('I(W;Y)');gridon

clear;[w,p]=meshgrid(::1);y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);meshz(w,p,y);title('二进制信道的信道容量');Xlabel('w');ylabel('p');zlabel('I(W;