《信息论基础》实验报告-实验3.docx

《信息论基础》实验报告-实验3.docx成绩信息与通信工程学院实验报告(软件仿真性实验)课程名称:信息论基础实验题目:率失真函数计算的程序设计 指导教师:班级:1605XXXX 学号:XX 学生姓名:王小明一、实验目的和任务1•了解率失真函数性质、意义。掌握简单的率失真函数计算方法;掌握使用Matlab实现一般率失真函数的计算方法;掌握Matlab求解非线性方程组的方法。二、实验内容及原理(1)R(8(S))的表示方法计算和&唤是很容易的。戈讪=丫 ; 5max=min,p(u)d(u,v)。当时,R(S)二0。当5§5弘时,u^Au uR(5)=min{Z(Z/;0:E⑺胡。在数学上,就是在约束条件:E(d)=itp(u)p(v\u)d(u,v)=S (1)U=\V=1^p(v|w)=l (2)v=\的约束下求平均信息量/(t/;V)=££p(u)pWIu)log":J")d(u,v)M=lv=l P(v)的条件极小值。为此引入待定常数s和从(沪1,2,・・・,",并作辅助函数F["01u)]=£乞 IU)logP(少)憲铝 P(v)r$ r s-S工工p(u)p(*Iu)d(u,v)+工““工p(vIu)U=\V=1 //=lV=1其中P(v)=2L/?(w)P(v|w)M=1由c:F、=0得,p(v|u)=p(v)exp{S</(w,v)+op(v\u) p(u)为方便引入参数,=exp{-^7)则有PWp(v\u)=p(v)AueSd(u^显然(4)提供“s个方程,(2)提供/个方程,而仃)提供1各方程,共/計严1个方程;而有"S个未知数p{v\u)>/个未知数九及未知数$,共KS七严1未知数,显然可以求解。为方便起见,我们保留S作为参数。这样得到:血!>e)严宀=1 ⑸V=I仇)《w)=l (6)u=\E(d)=〃(S)= 人严心d(s) ⑺U=lV=1R(5(S))=S/(S)+乞卩⑷log人 ⑻u=l很容易得到S=—<0,即S是率是失真函数的导数。当5~^-00时,5(5)t§in;参量Sdo是胡勺递增函数,当/从亦到乩逐渐增大时,S将随口曾大而增大,当戶冰时,s达到最大值0,0。对©X的求解较麻烦,必须解非线性方程。为了简单我们不求5L。如果厂s,即信源和信宿的符号集相同,则很容易通过⑹式求得九,进而通过(5)式求得pg从而通过(7)(8)式划出率失真函数曲线。(2)R(5(S))的迭代计算但一般情况下,7HS,则只能通过(6)先求得p(r),这是一个非常复杂的方程。下面介绍川5(9)的迭代方法计算方法和公式。首先假设门(卩)1古I定,与信道传递概率p{v\u)无关,则求极值得:心心^⑼£爪)严eV=1再假定p{v\ii)不变,而把刀3)当成变量,则求极值得:/(V)=乞P(W)/7(VIu) (10)M=1具体算法为:选择绝对值相当大的负数S。选定起始传递概率Z(r|u)二1/rs。通过(10)式求得P'S,再通过(9)式求得刀⑵(讨讥如此重复直到d(S[)02)=££po)”")oi“)〃(《*)与〃(s)(卅1)相差较小;并且。W=1V=1r(sjs)=££恥)严esiogP豐号与用⑸(卅1)相差较小気紅 P(v)再选择较大的S直到©X逼近于零为止。。首先需耍指出的是,达到率失真函数的条件概率P(片I气)及输出字母概率分布Q(气)都不—定是唯一的。具体迭代算法可以按如下步骤进行(1) 先假定一个负数作为S],选定初始转移慨率=丄组成(rx5)阶初始矩阵。'zrxs(2) 把选定的初始转移概率p'(b,/q)代入表达式p仇)=£#仇)“仇/©)中,得到相1=1n(b应的"(bj,然后用pl(b})代入表达式pjb")= 中,得到相应的D(bJ严宀)冋⑶再用P2仇/at)代入衷达式/(b,)=£p(«)p(b,/at)),然后p(b)严山用P2仇)代入表达式p仇/q)=—A 中,得到郴应的p-(b,la\。&(讣也)⑷以此推类进行卜上H到D何= 仇与。(呵(SJ二£\>仏)/严"0,仏”仏上.),以及加(即=£以(“Jd""/“,)bg绸单与严(〃££/>(“,)严仇g)k,g轧船1■R 卩也) 九I用 P(如相当接近,)(SJSER""(SJ就是这个§值所对应的信息率火貞函数R(SJ的近似值。(5) ,得到二值的信息率失真函数/?(52)的近似值。(6) 这种过程•貢到信息率失真函数心Sg)逼近于零为止,随看»二,…,S,叭的选定就可得到信息率失貞函数R(S)的曲线。三、实验步骤或程序流程1・ 从理论上计算厂尸2。/?(尸1)二p