信息编码-实验报告-1.doc

目录
一、实验目的1
二、实验内容1
三、实验要点及说明1
四、实现方法1
五、实验结果2
六、源程序清单3
七、思考及总结5
一、实验目的
1．掌握离散随机变量的信息量的计算方法；
2．理解离散随机变量信息量之间的关系；
3．理解最大熵原理。
二、实验内容
计算单个离散随机变量的熵；计算两个离散随机变量联合熵；计算给定一个随机变量后另外一个变量的条件熵；验证二维及多维最大熵原理。
三、实验要点及说明
通过matlab编程，计算相应结果并绘制图形，理解相关性质。
四、实现方法
1、编写一个实现功能（计算单个离散随机变量的熵）的函数。待用户输入概率形成的向量p，程序中生成一个与p同型的向量，初始化S为0，编写for循环，
遍历这个向量中的每一个元素，并求熵。
2、编写一个实现功能（计算两个离散随机变量联合熵）的函数。待用户输入联合概率形成的向矩阵J，获取矩阵J的行数和列数，继而，生成一个与J同型的矩阵H，初始化S为0，编写for循环，遍历这个向量中的每一个元素，并求熵。
3、利用条件熵等于联合熵减去单个变量概率的信息熵。结合1,2中的程序，对结果做查求出条件熵。
五、实验结果
1、单个随机变量的熵。
2、两个离散随机变量的联合熵。
3、给定一个随机变量后另外一个变量的条件熵。
4、熵函数图像。
六、源程序清单
Filename： %用于求解单个离散随机变量的熵
function [ S ] = first(p)
%UNTITLED2 Summary of this function goes here
% Detailed explanation goes here
H=sum(zeros(sum(size(p))-1)); %生成一个与p同型的向量
S=0; %初始化S，为0
for i=1:(sum(size(p))-1) %遍历这个向量中的每一个元素，并求熵
H(i)=p(i)*log2(1/p(i));
S=S+H(i);
end
end
filename: %用于求解两个离散随机变量联合熵
function [ S ] = second(J)
%UNTITLED2 Summary of this function goes here
% Detailed explanation goes here
[x y]=size(J); %获取矩阵J的行数和列数，并赋给x，y
H=zeros(x,y); %生成一个与矩阵J同型的矩阵H
S=0; %初始化S，为0
for i=1:x %遍历这个矩阵，并求联合熵
for j=1:y
H(i,j)=J(i,j)*log2(1/J(i,j));
S=S+H(i,j);
end
end
end
filename: %用于计算给定一个随机变量后另外一个变量的条件熵
function [ l ] = three(J)
%UNTITLED2 Summary of this function goes here