编码理论课程介绍.ppt

第1章绪论
编码理论的基本概念
编码理论的发展
编码理论研究的内容和目的
1
编码理论的基本概念
本质——信息的传输系统
目的——把接收方不知道的信息及时、可靠、完整、安全、经济地传送给指定的接收方
2

包括:信源、编码器、信道、译码器、信宿五部分
信道编码
信源编码
保密译码
信道译码
信源译码
保密编码
噪声
信道
信源
信宿
3
(1)信源——产生消息和消息序列的源
——可以是人、生物、机器或其他事物
——是事物各种运动状态或存在状态的集合
消息——信源的输出
消息——具体,如:语音、图像、文字等
信息——抽象
(续)
4
(2)编码器——信源编码器、信道编码器、保密编码器
①信源编码——对信源输出的消息进行变换和处理
目的——提高信息传输的有效性
②信道编码——对消息进行的变换和处理
目的——提高信息传输的可靠性
③保密编码——目的是保证信息的安全性
(续)
5
(3) 信道——信号从甲地传输到乙地的通道
狭义信道——信号的传输媒质(介)
[例] 明线、电缆、波导、光纤、无线电波空间等
广义信道——除狭义信道外,还包括通信系统某些部分
信道噪声——通信系统各处干扰、噪声的集中等效体现
(续)
6
(4)译码器——编码器功能之反
也分成信源译码器、信道译码器、保密译码器三种
(5)信宿——消息传送的归宿
[说明]
①对实际通信系统,还应包括换能、调制、发射等各种变换处理
②上述模型只针对一对一单向通信系统。还有一对多单向系统(广播),一对一双向系统(电话),多对多双向系统(会议电视)等
(续)
7
1948年,香农发表“通信的数学理论”,标志着信息论的正式诞生
, A Mathematical Theory munication,
Bell System , , PP 379-423, July 1948
在前人工作基础上,用概率统计方法研究通信系统
揭示:通信系统传递的对象——信息
提出:信息熵、信息量
指出:通信系统的中心问题——
噪声背景下如何有效、可靠地传递信息
实现的主要方法——编码
提出了无失真信源编码定理、信道编码定理
编码理论的发展
8
提出了无失真信源编码定理、信道编码定理
给出了编码的性能极限
提供了最佳通信系统的理论依据
从数学观点看——都是最优编码的存在性定理
从工程观点看,信道编码定理不是结构性的
无失真信源编码定理是结构性的——码的平均长度~信源统计特性相匹配
(续)
9
无失真信源编码的方法
1948年,香农提出香农编码
1952年,费诺(Fano)提出费诺编码
1952年,霍夫曼()提出霍夫曼编码,并证明它是最佳码——有限长度的分组码中,平均码长最短
1982年,里斯桑内()在多年研究的基础上,与兰登()一起将算术码(非分组码)实用化
1977年,齐弗()和兰佩尔()提出了LZ算法——一种通用编码方法
(续)
10