【最新】信息论实验报告.docx

信息论实验报告
物理与电子电气工程学院
2
淮阴师范学院
〔信息论与编码实验报告〕

姓名：董宝坤
学号：171错误的概率，通常用p表示。而和是无错误传输的概率，通常用
物理与电子电气工程学院
8
表示。
X 1-p Y





二元对称信道
用矩阵来表示，即得二元对称信道的传递矩阵为
依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表示，即
b1 b2 … bs
并满足式 〔〕。
为了表述简便，记，信道的传递矩阵表示为
而且满足

平均互信息
平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X的信息量，也表示输入与输出两个随机变量之间的统计约束程度。
物理与电子电气工程学院
9





其中X是输入随机变量，Y是输出随机变量。
平均互信息是互信息〔即接收到输出符号y后输入符号x获得的信息量〕的统计平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。
对于每一个确定信道，都有一个信源分布，使得信息传输率到达最大值，我们把这个最大值称为该信道的信道容量。
相应的输入概率分布称为最正确输入分布。
四、实验内容
1．绘制平均互信息量图形
对于二元对称信道的输入概率空间为
平均互信息：
根据：
所以：
物理与电子电气工程学院
10
请绘制当从0到1之间变化时的平均互信息熵曲线
2. 信道容量图形
一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表，且该信道特性由发送1码和0码的两个错误转移概率和来表征。绘出当时的平均互信息和间的函数关系。确定每种情况下的信道容量。
五、实验结果及分析

clear;
w=;
p=::;
y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);
plot(p,y);
title('二进制信道的信道容量');
Xlabel('p');ylabel('I(W;Y)');
grid on
物理与电子电气工程学院
11
当BSC信道，C=1-H〔w〕，当w=0时，错误概率为0，无过失，信道容量到达最大，每符号1bit，输入端的信息全部传输至输出端；当w=1/2时，错误概率与正确概率相同，从输出端得不到关于输入端的任何信息，互信息为0，在信道接收端平均每个符号才获得最小的信息量，即信道容量为0；
clear;
p=;
w=::;
y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p);
plot(w,y);
物理与电子电气工程学院
12
title('二进制信道的信道容量');
Xlabel('w');ylabel('I(W;Y)');
grid on
clear;
[w,p]=meshgrid(::1);
y=-(