云计算.pptx

云计算&大数据关键技术与应用
目录
云计算&大数据技术架构
虚拟化技术
1
2
分布式数据处理技术
海量数据存储技术
3
4
大数据技术应用实例
5
云计算运营两大阵营
云计算产品的生态系统
4
基础硬件层
虚拟化软件
存储软件
Swift
网络软件
虚拟化和
基础软件层
Glance
基础架构及服务层
应用层
商用软件
开源软件
虚拟桌面
海量数据处理
大数据分析面临的主要技术问题
需要提供一个高效稳定的存储和计算引擎
如何支撑1万、10万台以上的机群规模?
多集群架构,运维和管理系统
如何在一个平台上支持多个组织的多个用户进行开发?
多租户支持,安全隔离,权限控制
如何了解业务运行状态?
元数据管理,指标系统
如何管理不同种类的任务?
服务化,统一计算入口,可度量和控制的计算资源
快速查询,精准搜索,智能分析…
云计算技术用于处理大数据
High performance –高并发读写
高并发、实时动态获取和更新数据
Huge Storage –海量数据的高效率存储访问和智能分析
类似SNS网站,海量用户信息的高效率实时存储和查询
High Scalability && High Availability –高可扩展性和高可用性
需要拥有快速横向扩展能力、提供7*24小时不间断服务
阿里大数据状况
淘宝主站(2011年):
30亿店铺、宝贝浏览
10亿计的在线宝贝数
千万量级交易笔数
数据产品(2011年) :
50G统计汇总结果
千万量级数据查询请求

数据来源:阿里相关技术介绍ppt
阿里技术架构总览
数据来源:阿里相关技术介绍ppt
腾讯大数据状况
数据来源:2012-12-1赵伟《HIVE在腾讯分布式数据仓库实践分享》
腾讯技术架构
数据来源:2012-12-1赵伟《HIVE在腾讯分布式数据仓库实践分享》