Hadoop大数据解决方案开发技术培训.docx

Hadoop大数据解决方案平台技术培训【课程目标】Hadoop作为开源的云计算平台,为大数据处理提供了一整套解决方案,应用非常广泛。Hadoop作为一个平台框架,包括了如何存储海量数据,如何处理海量数据,以及相应的数据库、数据仓库、数据流处理、数据分析和挖掘算法库,等等。本课程主要介绍Hadoop的思想、原理,以及重要技术等相关知识。通过本课程的学习,达到如下目的:全面了解大数据处理技术的相关知识。学习Hadoop的核心技术以及应用。深入掌握Hadoop的相关工具在大数据中的使用。掌握Hadoop的常用模块的工作原理及开发应用技术。掌握传统数据中心向大数据中心转换的关键技术。掌握海量数据处理的性能优化及维护技巧。【授课时间】2~5天时间(全部模块讲完需要5天时间,可以根据时间需求拆分内容模块)。【授课对象】网络部、大数据系统开发部、大数据中心、网络运维部等相关技术人员。【授课方式】原理精讲+案例演练+开发实践+系统优化【课程大纲】第一部分:Hadoop的基本框架大数据时代面临的问题当前解决大数据的技术方案Hadoop架构和云计算Hadoop简史及安装部署Hadoop设计理念和生态系统第二部分:HDFS分布式文件系统:海量数据存储的摇篮HDFS的设计目标HDFS的基本架构NameNode名称节点SecondaryNameNode第二名称节点DataNode数据节点HDFS的存储模型数据块存储元数据存储(空间镜像与编辑日志)多副本存储多副本放置策略多数据节点管理机制与交互过程文件系统操作与管理读文件过程写文件过程(数据流管道)数据完整性机制数据校验和数据完整性扫描线程元数据备份与合并数据可靠性设计安全模式(数据块与节点映射关系管理)心跳检测机制(节点失效管理)租约机制(多线程并发控制)mandsWebHDFSRESTAPIHDFSJavaAPI演练:HDFS文件操作命令演练:HDFS编程示例第三部分:MapReduce分布式计算系统:海量数据处理的利器MapReduce的三层设计理念分布治之的设计思想(Map与Reduce)数据处理引擎(编程模型)运行时环境(任务调度与执行)MapReduce的基本架构JobTracker作业跟踪器TaskTracker任务跟踪器MapReduce与HDFS的部署关系MapReduce编程模型概述编程接口介绍Hadoop工作流实现原理MapReduce作业调度机制MapReduce作业生命周期作业调度策略静态资源管理方案数据并行处理机制(五步骤)Input阶段实现Map阶段实现Shuffle阶段实现Reduce阶段实现Output阶段MapReduce容错机制任务失败与重新尝试节点失效与重调度单点故障MapReduce性能优化优化方向与思路磁盘IO性能优化分片优化线程数量优化内存优化压缩优化MapReduce操作接口JobShellWebUI案例演练:MapReduce编程示例YARN:下一代通用资源管理系统MRv1的局限性YARN基本框架NNHA:解决单点故障HDFSFederation:解决扩展性问题第四部分:HBase非关系型数据库:海量数据的黎明HBase的使用场景HBase的基本架构Zookeeper分布式协调服务器Master主控服务器RegionServer区域服务器HBase的数据模型HBase的表结构行键、列键、pactionHLog写前日志数据库读写操作数据库写入数据库读取三次寻址HBase操作接口NativeJavaAPIHBaseShell批量加载工具HiveQL操作HBase性能优化写速度优化读速度优化HBase集群监控与管理案例演练:HBase命令操作实例第五部分:Hive分布式数据仓库:高级的编程语言Hive是什么Hive与关系数据库的区别Hive系统架构用户接口层元数据存储层驱动层Hive常用服务Hive元数据的三种部署模式Hive的命名空间Hive数据类型与存储格式数据类型TextFile/SequenceFile/RCFileHive的数据模型管理表外部表分区表桶表HQL语言命令实例DDL数据定义语言DML数据操作语言QUERY数据查询语言Hive自定义函数基本函数(UDF)聚合函数(UDAF)表生成函数(UDTF)Hive性能优化动态分区压缩索引JVM重用案例演练:Hive命令操作实例第六部分:Sqoop数据交互工具:Hadoop与传统数据库的桥梁Sqoop是什么Sqoop的架构和功能Sqoop1架构Sqoop2架构数据双向交换数据导入过程数据导出过程数据导入工具与命令介绍案例演练:Sqoop数据导入/导出实际操作第七部分:Pig数据流处理引擎:数据脚本语言Pig介绍命令行交互工具GruntPig数据类型PigLatin脚本语言介绍基础知识输入和输出关系操作调