基于Hadoop的视频转码系统设计与实现_硕士学位论文.pdf

华中科技大学
硕士学位论文
基于Hadoop的视频转码系统设计与实现
姓名:郭奕希
申请学位级别:硕士
专业:电子与通信工程
指导教师:黄本雄
2011-05
华中科技大学硕士学位论文
摘要
随着互联网和手机网络的不断进化,媒体传播的平台越来越多,相应的传播平
台支持的媒体格式也越来越多。不同平台对内容的格式的要求完全不同,其中包括
了编码格式/规格、分辨率、帧率等参数的变化,因此对多媒体内容的编码格式进行
转换变得必不可少。传统的集中式数据转码系统不足以应付数据量大、数目多的转
码需求,并且随着视频数据的不断增多,集中式数据转码系统难以达到处理能力随
着数据量线性增长的要求。本文基于分布式平台 Hadoop,设计并实现了分布式转码
系统。
本文首先介绍了云计算技术的发展状况和 Hadoop 平台,重点介绍了分布式文件
系统 HDFS 的设计思想和 MapReduce 编程原理。随后介绍了相关的视频压缩知识。
在了解了分布式平台和视频压缩知识的基础上,提出了分布式转码系统的实现框架。
给出了转码框架各个主要模块,包括视频处理模块,文件传输模块,作业队列管理
模块,数据库模块,MapReduce 并行任务模块的实现原理和实现方法。
最后本文对分布式转码系统进行了一些初步的测试和分析,测试表明,在 Hadoop
集群上实现视频转码是可行的并且能够减少视频处理时间开销。在 Hadoop 集群上成
功实施视频转码功能扩大了 Hadoop 系统的应用范围,同时,Hadoop 集群是由普通
的 PC 机上构建的,计算能力和存储能力能够随着需求的增加在原来的基础上自由扩
展,具有很高的现实意义和应用价值。

关键词: 视频转码;Hadoop;云计算
I
华中科技大学硕士学位论文
Abstract
As the and mobile works continue to evolve, more and more media
platform, and the corresponding media platform to support more and more media formats.
The format of the content on different pletely different requirements,
including the encoding format / size, resolution, frame rate and other parameters change,
so the encoding format of multimedia content has e essential for the conversion.
The traditional centralized data transcoding system inadequate to meet the large volume of
data, more than the number of transcoding needs, and with the growing number of video
data, centralized data transcoding system is difficult to achieve the capacity increases
linearly with the requirements of data . Based on the distributed platform Hadoop,
designed and implemented a distributed transcoding system.
This paper describes the development of puting technology and the
Hadoop platform focuses on the design of distributed file system HDFS and MapReduce
programming ideological principles. Then introduced a pression-related
knowledge. Distributed in the understanding of the knowledge platform and video
compression, based on a distributed transcoding system implementati