存储能力详细方案-参考.docx

Hadoop存储能力详细方案Hadoop采用HDFS乍为其底层文件存储方式。HDFS是分布式文件系统,适合于存储大数据文件,通过将大数据文件切分成多个小数据文件,并且分散存放在多台DataNode服务器,同时提供数据冗余机制保证数据安全。本次Hadoop存储节点为:300台DataNode服务节点。存储数据安全及分配机制:采用3备份机制保证数据安全,同时为系统保留10%的临时数据交换空间,当数据量超过集群总容量的 90%时,建议增加节点。存储总容量:300台数据节点,每个节点36T的磁盘容量,除去10%勺临时数据交换空间,同时HDFS^—份数据存放着3份备份;最终存储容量公式如下可用存储容量=节点数*单节点磁盘容量*(1-临时数据交换空间比例)*HDFSfc件备份数量;即:可用存储容量=300X36X(1-10%)十3=3240T;目录规划:针对不同的数据用途和支撑方式进行存储容量划分,存放在HDFS中的数据分为接口层,处理层,共享层。接口层主要为原始数据,处理层为存放在HDF卿数据经Hive映射之后数据,共享层为经数据深度沉淀之后存放在HBase中。接口层:总容量*50%处理层:总容量*30%共享层:总容量*20%Storm存储能力详细方案Storm流数据处理采用linux文件系统作为其存储,数据盘采用raid5保证数据安全。存储总容量为:30台服务器,每台36T,采用Raid5磁盘阵列之后,数据容量为原来的75%,并建议预留10%的空间;最终可用存储计算公式如下:可用存储容量=节点数*单节点磁盘容量*Raid5后的磁盘容量比例*(1-临时数据交换空间比例);即:可用存储容量=30X36X75%X(1-10%)=729T;Redis存储能力详细方案Redis包含平台Redis内存数据库和前置Redis内存数据库,平台Redis内存数据库集群用于存放Storm处理后数据,对外提供低延迟数据服务;前置Redis内存数据库存放应用级数据对外提供服务。平台Redis内存数据库集群:集群通过一台路由服务器根据一套算法将表的Key值打算后分散存放到7个RedisMaster服务器中,同时每一个Master节点对应一个Slave节点保证数据安全,通过路由服务器实现高可用。存储容量为:14台数据服务器,7个Master节点,对应7个Slave节点,每一节点内存为512G为保证KV查询的高效性,建议预留30%勺空间;最终可用存储计算公式如下:可用存储容量=节点数*热备*单节点内存容量*(1-预留空间比例);即:可用存储容量=14-2X512X(1-30%)=;前置Redis内存数据库:前置Redis内存数据库中,数据表分别分别存放在不同的节点,同时内存中数据定期备份到本地和远程磁盘,通过该方式在保证了数据安全的同时针对多租户的场景实现了资源隔离。存储容量为:前置数据服务器,每一节点内存为 512G为保证KV查询的高效性,建议预留30%的空间,最终可用存储计算公式如下:可用存储容量=节点数*热备*单节点内存容量*(1-预留空间比例);即:可用存储容量=4X512X(1-30%)=;Mysql存储能力详细方案Mysql关系型数据库存储放深度汇总模型数据,支撑能力封装组件,为上层应用提供数据服务器;其中支撑业务数据节点数为8台,管控数据节点数为2