数据库技术改造方案v2.0.docx

精品范文模板 可修改删除
免责声明：图文来源于网络搜集，版权归原作者所以
若侵犯了您的合法权益，请作者与本上传人联系，我们将及时更正删除。
撰写人：___________日 期：___________
存
可以根据情况调整
定义后不可改
通过以上hbase和couchbase数据库的对比列表可知，在某些方面使用hbase要好于couchbase。
集群中进程名称及作用:
NameNode【支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作】
DFSZKFailoverController【Hadoop Ha进程维持namenode高可用】
JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】
JobHistoryServer【可以 该服务查看已经运行完了的作业记录】
ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】
精品范文模板 可修改删除

免责声明：图文来源于网络搜集，版权归原作者所以
若侵犯了您的合法权益，请作者与本上传人联系，我们将及时更正删除。
DataNode【调度存储和检索数据】
NodeManager【负责在单个节点上执行MapReduce任务】
QuorumPeerMain【zookeeper独立的进程,ZooKeeper作用包括管理Hadoop集群中的NameNode，HBase中HBaseMaster的选举，Servers之间状态同步等】
HMaster【管理和分配HRegion、HRegionServer负载均衡、权限控制、实现DDL操作】
HRegionServer【维护HMaster分配给他的region，处理对这些region的io请求负责切分正在运行过程中变的过大的region 】
zookeeper 【实现namenode和HMaster主从节点的failover ,存放HBase集群的元数据以及集群的状态信息】

精品范文模板 可修改删除

免责声明：图文来源于网络搜集，版权归原作者所以
若侵犯了您的合法权益，请作者与本上传人联系，我们将及时更正删除。
设计与实施
使用Hbase +Hadoop +,原2台服务器+后添5台服务器共同组成一个Hbase分布式数据集群。

架构图清晰地表达了HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由HMaster节点、HRegionServer节点、ZooKeeper集群等节点组成，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等；HMaster和NameNode都支持多个热备份，使用ZooKeeper来做协调；ZooKeeper并不是云般神秘，它一般由三台机器组成一个集群，内部使用PAXOS算法支持三台Server中的一台宕机，在本次设计中使用五台机器，此时则可以支持同时两台宕机，既少于半数的宕机；把RegionServer和DataNode放在相同的Server上实现数据的本地化。
精品范文模板 可修改删除

免责声明：图文来源于网络搜集，版权归原作者所以
若侵犯了您的合法权益，请作者与本上传人联系，我们将及时更正删除。
主机规划：
主机名
IP
安装的软件
运行的进程
master1
jdk、hadoop、hbase
NN、RM、DFSZKFailoverController(zkfc)、Hmaster、JobHistoryServer
master2
jdk、hadoop、hbase
NN、RM、DFSZKFailoverController(zkfc)、Hmaster
slave1
jdk、hadoop、zookeeper、hbase
DN、NM、JournalNode、QuorumPeerMain、HRegionServer
slave2
jdk、hadoop、zookeeper、hbase
DN、NM、JournalNode、QuorumPeerMain、HRegionServer
slave3
jdk、hadoop、zookeeper、hbase
DN、NM、Jour