存储能力详细方案参考.docx

存储能力详细方案
参考
Hadoop存储能力详细方案
Hadoop采用HDFS作为其底层文件存储方式。HDFS是分布式 文件系统，适合于存储大数据文件，经过将大数据文件切分成多 个小数据文件，而且分散存放在多台 DataNode服务器，同时提供
数据冗余机制保证数据安全。
本次Hadoop存储节点为：300台DataNode服务节点。
存储数据安全及分配机制：采用 3备份机制保证数据安全，
同时为系统保留 10%勺临时数据交换空间，当数据量超过集群总
容量的90%时，建议增加节点。
存储总容量：300台数据节点，每个节点 36T的磁盘容量，
除去10%勺临时数据交换空间，同时 HDFS中一份数据存放着 3份
备份；最终存储容量公式如下
可用存储容量=节点数*单节点磁盘容量* (1-临时数据交换空 间比例)+ HDFSJ5C件备份数量；
即：可用存储容量 =300X 36 X ( 1-10%) + 3=3240T;
目录规划：针对不同的数据用途和支撑方式进行存储容量划 分，存放在HDFSfr的数据分为接口层，处理层，共享层。
接口层主要为原始数据，处理层为存放在 HDFS中数据经
Hive映射之后数据，共享层为经数据深度沉淀之后存放在 HBase
中。
接口层：总容量*50%
处理层：总容量*30%
共享层：总容量*20%
Storm存储能力详细方案
Storm流数据处理采用linux文件系统作为其存储，数据盘 采用raid5保证数据安全。
存储总容量为：30台服务器，每台36T,采用Raid5磁盘阵 列之后，数据容量为原来的 75%并建议预留10%勺空间；最终可 用存储计算公式如下：
可用存储容量=节点数*单节点磁盘容量*Raid5后的磁盘容量 比例* (1-临时数据交换空间比例)；
即：可用存储容量 =30 X 36 X 75%^ (1-10%) =729T;
Redis存储能力详细方案
Redis包含平台 Redis内存数据库和前置 Redis内存数据
库，平台Redis内存数据库集群用于存放 Storm处理后数据，对
外提供低延迟数据服务；前置 Redis内存数据库存放应用级数据
对外提供服务。
平台Redis内存数据库集群：
集群经过一台路由服务器根据一套算法将表的 Key值打算后
分散存放到7个Redis Master服务器中，同时每一个 Master节
点对应一个 Slave节点保证数据安全，经过路由服务器实现高可 用。
存储容量为：14台数据服务器，7个Master节点，对应7个
Slave节点，每一节点内存为 512G,为保证KV查询的高效性，建 议预留30%勺空间；最终可用存储计算公式如下：
可用存储容量=节点数+热备*单节点内存容量* (1-预留空间 比例)；
即：可用存储容量 =14 + 2X 512X (1-30%) =;
前置Redis内存数据库：
前置Redis内存数据库中，数据表分别分别存放在不同的节
点，同时内存中数据定期备份到本地和远程磁盘，经过该方式在 保证了数据安全的同时针对多租户的场景实现了资源隔离。
存储容量为：前置数据服务器，每一节点内存为 512G,为保
证KV查询的高效性，