Hadoop大数据解决方案开发技术培训-讲师傅一航-**********.docx

傅一航老师常驻:深圳联系电话: ********** Hadoop 大数据解决方案开发技术培训【课程目标】 Hadoop 作为开源的云计算平台, 为大数据处理提供了一整套解决方案,应用非常广泛。 Hadoop 作为一个平台框架,包括了如何存储海量数据,如何处理海量数据,以及相应的数据库、数据仓库、数据流处理、数据分析和挖掘算法库, 等等。本课程主要介绍 Hadoop 的思想、原理,以及重要技术等相关知识。通过本课程的学习,达到如下目的: 1、全面了解大数据处理技术的相关知识。 2、学习 Hadoop 的核心技术以及应用。 3、深入掌握 Hadoop 的相关工具在大数据中的使用。 4、掌握 Hadoop 的常用模块的工作原理及开发应用技术。 5、掌握传统数据中心向大数据中心转换的关键技术。 6、掌握海量数据处理的性能优化及维护技巧。【授课时间】 2~5天时间(全部模块讲完需要 5天时间,可以根据时间需求拆分内容模块)。【授课对象】网络部、大数据系统开发部、大数据中心、网络运维部等相关技术人员。【授课方式】原理精讲+案例演练+开发实践+系统优化【课程大纲】第一部分: H adoop 的基本框架 1、大数据时代面临的问题傅一航老师常驻:深圳联系电话: ********** 2、当前解决大数据的技术方案 3、Hadoop 架构和云计算 4、Hadoop 简史及安装部署 5、Hadoop 设计理念和生态系统第二部分: HDFS 分布式文件系统:海量数据存储的摇篮 1、HDFS 的设计目标 2、HDFS 的基本架构?NameNode 名称节点?SecondaryNameNode 第二名称节点?DataNode 数据节点 3、HDFS 的存储模型?数据块存储?元数据存储(空间镜像与编辑日志) ?多副本存储 4、多副本放置策略 5、多数据节点管理机制与交互过程 6、文件系统操作与管理?读文件过程?写文件过程(数据流管道) 7、数据完整性机制?数据校验和?数据完整性扫描线程?元数据备份与合并 8、数据可靠性设计?安全模式(数据块与节点映射关系管理) ?心跳检测机制(节点失效管理) ?租约机制(多线程并发控制) 9、其它傅一航老师常驻:深圳联系电话: ********** ?HDFS 的安全机制?负载均衡?文件压缩 10、操作接口与编程接口?HDFS Shell ?mands ?WebHDFS REST API ?HDFS Java API 演练: HDFS 文件操作命令演练: HDFS 编程示例第三部分: MapReduce 分布式计算系统:海量数据处理的利器 1、MapReduce 的三层设计理念?分布治之的设计思想( Map 与Reduce ) ?数据处理引擎(编程模型) ?运行时环境(任务调度与执行) 2、MapReduce 的基本架构?JobTracker 作业跟踪器?TaskTracker 任务跟踪器?MapReduce 与HDFS 的部署关系 3、MapReduce 编程模型概述?编程接口介绍?Hadoop 工作流实现原理 4、MapReduce 作业调度机制?MapReduce 作业生命周期?作业调度策略?静态资源管理方案 5、数据并行处理机制(五步骤) ?Input 阶段实现傅一航老师常驻:深圳联系电话: ********** ?Map 阶段实