Cloudera大数据平台迁移方案.docx

Cloudera大数据平台
迁移方案
cloudera
前言 4
大数据处理平台迁移方案 4
方案一：原地升级 4
方案二：拷贝迁移 5
方案优缺点比较 5
迁移准备 5
卸载 IDH 6
停止作业并阻止 HDF-replicated blocks （ 那些复制份数小于配置要求的块数量 ）
Mis-replicated blocks （ 缺少的块复制数量，如果有两个块 A和B,复制份数小于实
际配置，A缺少两个复制，B缺少一个复制，则最后缺少的块复制份数是 3）
Corrupt blocks （ 损坏的块数量，应该是 0）
. 停止所有作业
IDH
, 停止作业并阻止HDFS写入
步骤说明
操作
备注
1,停止集群中两个
HBase集群服务
HBase内部有些事件会触发
HDFS的写入操作。故而要先停止
HBase集群。

NameNode 节
点，进入
safemode
sudo -u hdfs hadoop dfsadmin -safemode enter
3,将所有edits修 改保存到fsimage 中
sudo -u hdfs hadoop dfsadmin -saveNamespace
可以观察执行前后 NameNode 主 目录发生的变化，如图1和图2 所示；IDH将NameNode 的主目 录配置在
/hadoop/drbd/hadoop_image
下
保存 fsimage 之前，${}/current 目录的内容:
Qi*cx>t&i p-172 - 1S- 247 cur r en+] # 11
total 1944
一『w———. 1 hdfs hdfs
*rw*r*-r* 1 hdfs hdfs
-rw-r-r■-. 1 hdfs hdfs
104858。
MW
8
2ei4-e9-is
2014*018
2014-69-18
1A1 2014-09-1s
14:29
14:22
14:22
14:22
edits 'fsirrage 'fstime VERSION
Lr，«x>tPip-172-J1-1S-247 curren4zJ #
保存 fsimage 之后，${}/current 目录的内容:
[rootfrip-17Z-31-15-Z47 current]# 11
total 20
-rw-r--r--s 1 hdfs
-rw-r--i—■ 1 hdfs
-rw- r-'- r - - < 1 hdfs
一户啊-r—f—* 1 hdfs
hdfs 4 2914T9-18 hdfs 7016 2014-09-18 hdfs 8 2014-09-18 hdfs 101 2014-09-1&
15:32 edits
IS:31 抬image £5:31 fstime 15:31 VERSION
Qroot?ip-172-31-15-247 current]#
, 备份Hive元数据
步骤说明
操作

Intel Hadoop 的主
NameNode 节点

据信息
cd /root ;
mkdir IDH_backup;
cd IDH_backup;
mysqldump -u root -- password= ' password ' metastore >
;
HDFS、
MapReduce、
HBase、 Hive 的角色
部署信息
在安装CDH后，组 件角色部署要尽量一 致
. 记录IDH运行时一些关键的目录结构
Hadoop NameNode 主目录结构， 有可能不存在:
rroot#i|j'i7Z-3i-fl-55 hodoc|i_ ivagel# 11 total 13
rfrwAr-Mr-i.,f hdfs lidfi 4«96 ?014-B9-19
p-172-31-fl-55- 』#
(JrMTLr -KP- *T J hd fa drwxr2 hd fs
-ra-r,--r-"+ 1 hdfs
W-Fs 翻 14-的-tg kd千宇 443% 2Q14-09 19
kidft 0
MTQ cu.-re- - m
14:5Q i n^