第01章 信息、信息科学与信息技术-10.ppt

第一章信息、信息科学与信息技术
沈晴霓
******@.
北京大学
软件与微电子学院
纲要
信息
信息科学
信息技术
信息科学/技术与相关学科的关系
信息
什么是信息?
就一般意义而言,信息可以理解成消息、情报、知识、见闻、通知、报告、事实、数据等等。
20世纪30年代,信息被作为一个科学概念探讨
1928年,哈特莱(Ralph . Hartley)在“信息传输”文中首先提出“信息”这一概念,即“信息是代码、符号,而不是信息内容本身”,与消息区分开来。
1948年,信息论创始人香农(C. E. Shannon)从研究通信理论出发,第一次从数学方法角度进行了定义,即“信息就是不确定性的消除”。
香农对信息的定义
什么是信息?信息能否度量?怎样度量?
香农认为:信息是有秩序的量度,是人们对事物了解的不确定性的消除或减少。
信息是对组织程度的一种测度,信息能使物质系统有序性增强,减少破坏、混乱和噪音。
如:人的交往、道路交通、公安保密等
信息的传播过程
香农提出:
信息的传播过程是“信源”(信息的发送者)把要提供的信息经过“信道”传递给“信宿”(信息的接收者),信宿接收这些经过“译码”(即解释符号)的信息符号的过程。
信源→编码→信道→译码→信宿
信息的度量
由于信息源发出的消息是随机的,可以用随机变量来表示。如果用符号表示信息源发出的信息,假设事件的基本空间Ω包含 m个元素,即Ω= {x1, x2, …, xm},且每一个等可能值的概率为:
P( X=xi ) = p i =1, 2, …, m
那么,定义一个随机事件所含的信息量称为x的自信息量,即
只能表示信息源发出的某一特定消息x的自信息量,而对于不同的消息则有不同的自信息量,所以不足以作为整个信息源的总体信息测度。那么,可以定义平均信息量来作为信息总体的测度,即信息熵。
信息熵
设X为一离散随机变量,在集合
中取值,其概率分布为
信息熵是从整个信息源的统计特性来考虑的,它从平均的意义上来表示信息源的总体信息测度,它表示信息源 X 在没有发出消息以前,信宿对信息源 X 存在着平均不确定性。香农的信息度量公式排除了对信息主观上的含意。根据上述公式,同样一个消息对任何一个收信者来说,所得到的信息量都是一样的。