科技改变生活!EasyHadoop让你的Hadoop应用飞起来![][讲解Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。][EasyHadoop开源社区][北京市海淀区学院路51号首享科技大厦13层]EasyHadoop集群部署入门修订记录日期修改原因描述作者2012/02/14初稿Hadoop部署文档向磊2012/07/14完善细节新基础环境配置,修改配置文件,修改架构图。童小军2012/07/16完善细节完善系统检查方法,完善目录结构和注释,添加封面童小军2012/07/16添加图例添加生产集群部署图,组件的依赖关系童小军2012/08/07添加EasyHive添加EasyHive章节童小军2012/09/07完善内容添加机器配置详解,和配置文件详解童小军2012/09/07完善内容添加任务调度,机架感知童小军目录EasyHadoop集群部署入门文档 2目录 4#Hadoop试验集群的部署结构 4#系统和组建的依赖关系 5#生产环境的部署结构 6#linux安装(vm虚拟机) 6#配置机器时间同步 6#配置机器网络环境 7#配置集群hosts列表 10#下载并安装JAVAJDK系统软件 10#生成登陆密钥 11#创建用户账号和Hadoop部署目录和数据目录 11#检查基础环境 13#Hadoop文件下载和解压 13#配置hadoop- 13#mon组件配置core- 13#HDFSNameNode,DataNode组建配置hdfs- 14#配置MapReduce-JobTrackerTaskTracker启动配置 15#Hadoop单机系统,启动执行和异常检查 17#通过界面查看集群部署部署成功 18#通过执行Hadooppi运行样例检查集群是否成功 19#安装部署常见错误 20#检查node节点linux基础环境是否正常,参考[linux基础环境搭建]一节。 20#配置从master机器到node节点无密钥登陆 20#检查master到每个node节点在hadoop用户下使用密钥登陆是否正常 21#配置master集群服务器地址stop-- 21#通过界面查看集群部署部署成功 22#通过执行Hadooppi运行样例检查集群是否成功 25#master服务器自动安装脚本 25Hive仓库集群部署入门文档 27#数据仓库结构图 27#Hive仓库流程图 27#hive内部结构图 27#安装Hadoop集群,看EasyHadoop安装文档。 27#安装Mysql,启动Mysql,检查gc++包。 27#解压Hive包并配置JDBC连接地址。 27#启动HivethriftServer。 27#启动内置的HiveUI。 28#登陆查询 28#查询文件方式 28#命令行模式 (创建表,加载表,分析查询,删除表) 28#创建表 29#Mysql的两种引擎介绍 29#创建一个数据表使用Hivecli进行数据分析 29#使用shell编写Hsql并使用HiveCli导出数据,使用Mysql命令加载到数据库中。 29#使用crontab新增每日运行任务定时器 29#安装FineReport,使用注册码! 29#使用FineReport,快速展现数据报表。 29#FineReport的问题和局限 29文档概述本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。本安装文档适用于centos5/,64位版本,ubuntu等操作系统需要做部分修改。背景Hadoop为分布式文件系统和计算的基础框架系统,其中包含hadoop程序,hdfs系统等。名词解释Hadoop, Apache开源的分布式框架。HDFS, hadoop的分布式文件系统NameNode, hadoopHDFS元数据主节点服务器,负责保存DataNode文件存储元数据信息。JobTracker, hadoop的Map/Reduce调度器,负责与Tac
EasyHadoop实战手册(1) 来自淘豆网m.daumloan.com转载请标明出处.
