分布式存储和文件共享研究24.ppt

分布式存储和文件共享研究24
Creative pure hand painted business presentations Creative pure hand painted business presentations
汇报人分布式存储和文件共享研究24
Creative pure hand painted business presentations Creative pure hand painted business presentations
汇报人：视觉设计
部门：创意设计部
自我组织的路由管理
路由策略：
－在一个节点产生一个新的备份的时候，Tapesrty会存储一个从根节点到此节点的指针
－通过Tapestry查找一个数据的根节点时候，遇到一个有此备份的节点就返回
－－Tapestry通过向节点的邻接点来扩散路由消息
－结果Tapestry保持三个最少延迟的指针
自我组织的路由管理
Tapestry
例：
源节点0325 目标节点4598
一可能路径穿过的节点：
－>***8->**98->*598->4598
自我组织的路由管理
实践
结构：
－5000节点的拓扑结构
－4096节点参与Tapestry路由管理
－任意从一个节点向256各目标节点发送包
同时Tapestry间隔使用UDP探测包来衡量连接状况，并且能够在检测到路由错误的时候马上利用冗 余指针来继续路由
自我组织的路由管理
其中B和E区是
Tapestry路由
机制错误的的
区域
自我组织的路由管理
－节点的加入
产生一个随机的NodeID标志自己
通过LDAP服务器来得到邻接点，然后通过邻接点来路由新节点消息，最终结果是新节点产生一个完全的路由表。
－节点的退出
，更新路由表

M-of-N编码和修复
M-of-n编码
－erasure code把输入的一个数据目标的一系列M片断转换成N片断，N>M,复制的分布在各个节点，任何M个片断都可以重新准确的重构成原来的数据。
－分块存储的时候维护一张erasure code表，维护每一块的信息，同时由inner ring维护块的更新信息。
－系统自动根据M的调节N保持冗余信息，保持数据的高容错性。
M-of-N编码和修复
修复
－错误的预测
在预测错误要发生前，将数据移动到别的盘
－本地扫描
节点根据本地存储的数据的内容用Hash检测
是否和节点的Guid符合。
－分布式检测和修复
由Tapestry检测是否低于一定冗余，保证有
足够的冗余来使得数据能够自动恢复
－全局扫描
拜占庭更新
－更新
通过inner ring来维护更新时候产生的新的版本，同时维护更新的历史记录
点对点文件共享系统
--目前的点对点文件共享系统问题
大多数没有考虑节点的本身特征如带宽,瓶颈，
IP层的发包延迟等问题

因为获得接点这些特征的情况下，可以考虑任
务的分布，避免把经常访问的资源放在这些节
点上
点对点文件共享系统
--针对NAPSTER和GNUTELLA两个系统的研究分析
方法：
1。通过CRAWL得到节点资源的快照如地址，端
口，软件资源等
2。然后探测服务器的各种特征如瓶颈，带宽等
特征
点对点文件共享系统
NAPSTER和GNUTELLA两个系统的系统结构
NAPSTER
--一中心服务器的集合，服务器维护着当前的
节点所共享的所有文件的索引
--每个节点维护一个到其中的一个中心服务器的
连接
GNUTELLA
--没有中心服务器集合，处理查询时候，简单向
邻接点发送查询合作
--通过发送PING，PONG来得到其他的节点
点对点文件共享系统
GNUTELLA的CRALING
--向已经知道的节点发送TTL值很大的PING包
，根据返回的PONG消息，得到发现的节点的
地址，节点共享文件的数目
点对点文件共享系统
根据CRAWLER得到的节点进行第二次探测
--延迟性
发送一个循环包。
--存活性
用LF（自己开发）去探测节点的状态，根据返回的结果对节点作一个状态标记
局限性，对DHCP没有作用
--瓶颈和带宽
工具：SPROBE，衡量上载率和下载率
点对点文件共享系统
衡量结果
--有多少节点具有服务器要求的特点：带宽，延
迟性
上载和下载速度得不对称性
节点在报告自己的带宽时候谎报
延迟性由地理位置决定
--节点的在线时间