信息论简述.ppt

第1章信息论基础第1章信息论基础内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科,也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念,简述信息传输系统模型的各个组成部分,进而讨论离散信源和离散信道的数学模型,简单介绍几种常见的离散信源和离散信道。1948年香农在BellSystemTechnicalJournal上发表了《munication》。通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度,或者说信息是关于事物运动的状态和规律。通信系统中形式上传输的是消息,实质上传输的是信息,消息中包含信息,消息是信息的载体。信息论是研究信息的基本性质及度量方法,研究信息的获取、传输、存储和处理的一般规律的科学。信息:信息是任何随机事件发生后所包含的内容() 消息:消息是信息的载体(互联网上的文字与图像)信号:信号是消息的载体(调制原因)三者之间的关系:信息不等于消息,消息中包含信息, 是信息的载体,信号携带消息,(Nyquist,H.)和哈特莱(Hartley,.)提出了信息的定义1924年奈奎斯特解释了信号带宽和信息速率之间的关系1928哈特莱最早研究了通信系统传输信息的能力,给出了信息度量方法1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强1941~1944年香农对通信和密码进行深人研究,用概率论的方法研究通信系统,揭示了通信系统传递的对象就是信息,并对信息给以科学的定量描述,提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。,使它成为信息论的又一重要分支;信源编码的研究落后于信道编码。香农1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系统地提出了信息率失真理论,它是数据压缩的数学基础,为各种信源编码的研究奠定了基础到70年代,有关信息论的研究,从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗(Caer)发表了有关广播信道的研究,以后陆续有关于多接入信道和广播信道模型的研究,但由于这些问题比较难,到目前为止,多用户信息论研究得不多,还有许多尚待解决的课题。对于信息论的研究,一般划分为三个不同的范畴:广义信息论,包括信息论在自然和社会中的新的应用,如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论,研究信息传输和处理问题,也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论,即通信的数学理论,主要研究狭义信息的度量方法,研究各种信源、信道的描述和信源、信道的编码定理。。各种通信系统,:干扰源信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图1-1信息传输系统模型这个模型包括以下五个部分:。,分为信道译码和信源译码。。。。编码器信源编码器,提高传输效率信道编码器,提高传输可靠性