负载均衡的原理说明样本.doc

大家全部知道一台服务器处理能力,关键受限于服务器本身可扩展硬件能力。所以,在需要处理大量用户请求时候,通常全部会引入负载均衡器,将多台一般服务器组成一个系统,来完成高并发请求处理任务。之前负载均衡只能经过DNS来实现,1996年以后,出现了新网络负载均衡技术。经过设置虚拟服务地址(IP),将在同一地域(Region)多台服务器虚拟成一个高性能、高可用应用服务池;再依据应用指定方法,未来自用户端网络请求分发到服务器池中。网络负载均衡会检验服务器池中后端服务器健康状态,自动隔离异常状态后端服务器,从而处理了单台后端服务器单点问题,同时提升了应用整体服务能力。网络负载均衡关键有硬件和软件两种实现方法,主流负载均衡处理方案中,硬件厂商以F5为代表现在市场拥有率超出50%,软件关键为NGINX和LVS。不过,不管硬件或软件实现,全部逃不出基于四层交互技术“转发”或基于七层协议“代理”这两种方法。 四层转发模式通常性能会愈加好,但七层代理模式能够依据更多信息做到更智能地分发流量。通常大规模应用中,这两种方法会同时存在。F5提出了ADC(Application delivery controller)概念为传统负载均衡器增加了大量功效,常见有:SSL卸载、压缩优化和TCP连接优化。NGINX也支持很多ADC特征,但F5中高端型号会经过硬件加速卡来实现SSL卸载、压缩优化这一类CPU密集型操作,从而能够提供愈加好性能。F5推出ADC以后,多种多样功效有很多,但其实我们最常见也就多个。这里我也简单总结了一下,并和LVS、Nginx对比了一下。  SSL卸载和压缩优化,关键是将CPU密集型加解密和压缩操作移到负载均衡器上进行;TCP连接优化关键指是用户和负载均衡器短连接同时,负载均衡器和后端服务器建立长连接。不过我们此次关键介绍四层负载均衡,所以这些高级ADC功效不会包含到。F5硬件负载均衡产品又分单机Big IP系列和集群VISRION系列,全部是X86架构,配合自研TMOS(Traffic Management Operating System),再加上硬件加速卡(Cavium提供)处理SSL和压缩等CPU密集型操作。L4 CPS:四层每秒新建连接数。测试时候通常采取TCP短连接,每次请求128字节。表现CPU性能,最关键性能指标,没有之一。L4最大并发连接数:表现内存大小L7 RPS:七层每秒请求数。测试时每连接10个128字节HTTP请求。关键表现HTTP协议栈性能这些性能指标实际上就是一个负载均衡器最关键指标了。大家如有采购硬件负载均衡器一定要看这个。有很多小牌子硬件负载均衡器常常不标注L4 CPS,只是笼统地说10G负载均衡,其实差异很大。硬件负载均衡在功效、易用性和可扩展性上全部做得不错,不过也有不少缺点。从商业角度来说,硬件负载均衡产品过于昂贵,高端产品动辄五十万甚至数百万价格对于用户是几乎不可承受负担。从使用角度来说,硬件负载均衡是黑盒,有BUG需要联络厂商等候处理,时间不可控、新特征迭代缓慢且需资深人员维护升级,也是变相增加昂贵人力成本。相信除了很多不差钱企业,大家还是用软件负载均衡比较多。软件四层负载均衡最常见就是LVS了。  LVS最常见有NAT、DR和新FULL NAT模式。上图比较了多个常见转发模式优缺点。我们认为LVS每种转发模式全部有其优点和缺点,但最大问题还是其复杂性。我第一次看到这三种转发方法、还有F5单臂模式、双臂模式全部会有云里雾里感觉。雪上加霜是我们还需要考虑LVS性能扩展和容灾方法,这使得整个方案愈加复杂。常见有基于Keepalived主备方法和ECMP两种。Keepalived主备模式设备利用率低;不能横向扩展;VRRP协议,有脑裂风险。而ECMP方法需要了解动态路由协议,LVS和交换机均需要较复杂配置;交换机HASH算法通常比较简单,增加删除节点会造成HASH重分布,可能造成目前TCP连接全部中止;部分交换机ECMP在处理分片包时会有Bug,说起来心中满满全部是血泪呀。  图:UCloud Vortex负载均衡器设计理念用户使用负载均衡器最关键需求是“High Availability”和“Scalability”,Vortex架构设计重心就是满足用户需求,提供极致“可靠性”和“可收缩性”,而在这二者之间我们又把“可靠性”放在更关键位置。值得一提是今年3月举行第十三届网络系统设计和实现USENIX研讨会(NSDI '16)上, 来自谷歌、加州大学洛杉矶分校、SpaceX企业工程师们分享了《Maglev:快速、可靠软件网络负载均衡器》,介绍了从开始在生产环境投入使用软件负载均衡器。其设计理念和我们很相同,一样是ECMP + 一致性哈希;一样是Kernel Bypass模式;单机性能也和我们Vortex