emcisilon大数据存储和高性能计算2.pptx

(HPTC)高性能业务计算(HPBC)高性能计算(HPC)CAECFD电磁仿真气象、海洋、环境分析生命科学计算物理、计算化学、材料油气、煤炭勘探蒙地卡罗财务模拟金融套利、风险分析卫星数据解释现代天文学图像渲染大数据对HPC的挑战新的作业流程,更精密的采集方式等等,产生大量的原始数据地震资料处理5-7TB每天,1个人类基因组序列100GB越来越多的行业需要基于HPC的大数据分析原始数据的导入、过程数据的保存,数据的安全性/备份HPC架构要求“pay-as-you-grow”HPC用户更应关注业务及数据,而非存储管理HPC应用的存储选择可以自己构建低成本存储构建大存储正逐渐变得容易!大、高性能、安全的HPC存储依然是难题大、高性能、安全且管理简单的存储才是关键!面向HPC应用的存储——SimpleisSmart™借助HPC架构灵感,开创横向扩展架构的存储平台集群中每一个节点都有CPU、内存、磁盘、前端口、内部互联端口不同类型的节点可以组成一个集群,共同运行OenFS文件系统,数据分散于其中节点功能对等,彼此协商,无专属元数据节点,无管理节点,用户专注管理自己的数据,而非管理存储HPC环境下传统存储架构RAIDAggregate(~16TB)VolumeFileSystem形成大量的存储孤岛每个存储孤岛的性能是有限的,且无法扩展双控制器架构导致存储利用率=50%-65%workCIFS/workFilesystemsStorageDiskShelvesConnectionBalancerFilesystemAFilesystemBInterfaceNodePoolGNSVirtualPresentationFilesystemBackupNodeRAIDGroups8+2存储架构需要简化ClusteredStorageLayerIntra-municationLayerServersClient/Layer(optional2ndswitch)NFS,CIFS,iSCSI,HTTPServersServers(optional2ndswitch)系统网I/OI/OI/OI/OI/OnodenodenodenodenodenodenodenodenodenodenodenodenodenodeSANGlobaldisk(并行文件系统\Lustre)MDSMDSMDSMDSI/O节点+SAN存储+并行文件系统