大型互联网架构演变历程.docx

大型互联网架构演变历程
课程目标
了解互联网架构演变历程
了解当前互联网架构中常用的一些
站在巨人的肩膀上,我们的视野会更高一些
淘宝技术这10年
淘宝现状
高并发已经成为当前互联网企业面临的巨大挑战!例如2015年“双十一”全球狂欢节正式落下帷幕,!参与交易国家和地区达到232个,,在线人数峰值达到4500万。
淘宝的核心技术(国内乃至国际的Top,这还是2011年的数据)
拥有全国最大的分布式Hadoop集群(云梯,2000左右节点,24000核CPU,48000GB内存,40PB存储容量)
全国分布80+CDN节点,能够自动找寻最近的节点提供服务,支持流量超过800Gbps
不逊于百度的搜索引擎,对数十亿商品进行搜索,全球最大的电商平台
顶尖的负载均衡系统,顶尖的分布式系统,顶尖的互联网思想,功能多样运行极其稳定
丰富的生态产业以及先进的数据挖掘技术
……很多很多
淘宝技术演变,摘自《淘宝技术这十年》
马总在2003年4月7日秘密叫来阿里巴巴的十位员工,来到杭州一个隐秘的毛坯房,要求他们在一个月左右的时间内做出一个C2C网站。结果当然还是直接买的快,一个基于LAMP架构的网站,原名是PHPAuction,老美开发的一个拍卖网站。当然必须要做修改才能用。
2003年底,淘宝注册用户23万,PV 31万/day,半年成交额3371万
很显然MySQL无法撑得起如此大的访问量,数据库瓶颈出现了。幸好阿里的DBA队伍足够强大,他们使用Oracle替代了MySQL。Oracle那时就已经有了强大的并发性访问设计——连接池,从连接池取连接的耗费比单独建立连接少很多。但是PHP当时并没有官方提供支持语言连接池特性,于是多隆前辈用Google(不会是Baidu)搜到了一个开源的SQL Relay,于是数据库软件方面的瓶颈暂时解决了。
随之而来的是面临硬件性能瓶颈,阿里买了EMC的SAN存储设备,加上Oracle高性能RAC,硬件容量也暂时没问题了。
因为SQL Relay的问题实在过于严重,2004年于是淘宝终于做出了跨时代的决策——使用Java重写网站。
淘宝请了Sun的高级工程师来帮忙做Java架构。那么他们是如何做到修改编程语言而不改变网站使用呢——模块化替换,今天写好了A模块,另开一个新域名,将连接指向该模块,同时别的模块不变,等到全部模块完成的时候,原域名放弃。Sun公司坚持使用EJB作为控制层,加上使用iBatis作为持久层,一个可扩展且高效的Java EE应用诞生了。
送走Sun的大牛们之后,阿里的数据存储又遇到了瓶颈,于是忍痛买了一台IBM小型机,也就有了IOE(IBM + Oracle + EMC)这样的传说
2004年底,淘宝注册用户400万,PV 4000万/day,全网成交额10个亿。
2005年Spring诞生了,早闻Spring框架在Web应用不可或缺,而在淘宝网,Spring也达到了Rod Johnson设计它的目的——替代EJB。
2005年底,淘宝注册用户1390万,PV 8931万/day,商品数目1663万个。
考虑到未来的发展,这样的设施架构只是勉强可以应付现在的要求。于是,