网易视频云分布式存储复制技术-链式复制.doc

网易视频云分布式存储复制技术-链式复制.doc:..网易视频云:分布式存储复制技术-链式复制网易视频云足网易倾力打造的一款某于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业W户只需经过简单的开发即可打造在线音视频平台。现在,网易视频云与大家分享一下分布式存储复制技术-链式复制。分布式系统中,强一致性通常被认为和高可用、高吞吐不相容,为了实现系统的萵可用、苡吞吐必须要牺牲强一致性。比如在亚马逊的Dynamo提供最终一致性,但是这样其实给开发者带来很多问题£01*写入的数据在后续的读操作中不能被读取到*写入的数据宥可能在后续的读操作屮获取到,但是读到后下一次又读不到Dynamo不保证一定能够渎到写入的数裾,将ffi杂的冲突合并工作留到了客户端;由于Dynamo的冲突合并过于复杂,在后来的系统AmazonS3使用’Last-writewins’来解决冲突,但是仍然不能完全解决上面提到的问题,Google的SES_在写成功时足一致的,写失败时足不一致的,因此GFS的RecordAppend提供的足至少成功写一次的语义,由客户端读的吋候自己来解决一致性问题。这样会带来一致性问题£11比如:数据在某个chunk副本中甫fl出现了多次,但是在其他副本中可能没有。在记录级别上,读到的记录顺序依赖于刚好读取到哪个chunk副本。而开发者史加希槊系统能够提供强一致的保证,由分布式系统提供强一致性的保证,这样可以提萵开发效率。在ChainReplicationforSupportingHighThroughoutandAvailability这篇论文中提出强致性、商吞吐(highthroughput)、高可用(highavailability)是相容的,并且解释了具体的实现方法。制如果所¥,所冇的¥操作由头结点处理,读操作/写操作的确认由尾结点处理头结点包含所冇的写操作,从头结点到尾结点所包含的写操作越來越少(所冇的操作需耍从上一个节点传递下来),对写操作的确认在尾节点,读操作也在尾节点进行。节点上的操作向下一个节点同步是FIFO的,因此后续节点上的数据记录肯定是前而节点的前缀。比如:HEAD节点:(a=1)(b=2)(c=3)(d=4)TAIL节点:(a=1)(b=2)TAIL节点上的数据记录是HEAD节点、MIDDLE节点的前缀,MIDDLE节点上的记录是HEAD节点记录的前缀。:‘‘HEAD;U=l)Q>=2)(c=3)(d=4) :: MIDDLE:U=l)(b=2)(c=3) :TAIL:(a=l)(b=2)头结点拥有四个写操作,其中a=1,b=2己经达到尾节点,由尾节点向荠户端返回成功c=3,d=4这两条记录尾节点还未返回成功。这时如果客户端的读发生在尾节点,因此只能读到(a=1,b=2)这两条记录;(c=3,d=4)这两条记录现在读不到。在正常流程中强一致性的保证是显