FRONT互联网文件存储与共享系统.doc

word
FRONT互联网文件存储(cún chǔ)与共享系统
word
刘斌 刘忠义(zhōnɡ yì)
网络(wǎngluò)实验室
夏冰
数据库实验室
朱彬
软工实验室
word
word
摘要(zhāiyào带宽。每个节点的空间组合起来构成全局大容量的存储共享空间。节点在自己的文件需要的容量之外还能够提供一定比例的“效劳空间〞，用于存储全局的其他文件，为别人提供效劳。
文件系统的文件发布和下载对于用户来说好似本地的一样。节点上的用户不用关心文件传输的事情，包括文件内容从哪里获得、发往哪里。分布式系统数据复制和协议通讯对用户都是不可见的。
一些节点组成的分布式网络中。发布和下载的需求并不一定是对称的。例如在一个极端情况下，一个网络中总是由一个节点在发布〔上传〕文件，其他节点都是不同需要的下载者。
文件系统提供的语义是只读的。文件发布后即可由他人获得，但不可修改。
向Front网络上发布的文件可能很大，甚至大于本地节点提供的共享空间容量。但只要front网络平台上还有空间，它就应该上传成功。
本文需要设计一个网络文件系统，满足以上假设的应用场景，并且保证这个分布式文件系统的高可用和高性能。需要解决的问题有下面3个方面：
本地文件系统
首先，为了在本地保证用户提供的“共享空间〞比例，Front在本地磁盘上的存取应该对用户有一定的不透明性。也即用户看不到是什么数据〔在操作系统里看就是文件〕占用了本地磁盘。一种可行的方案是，用户在操作系统里看到的存储文件不是发布到Front系统的文件的直接形式。发布的文件可以经过某种转化后存在磁盘上，用户不知道那个什么文件是自己需要的还是提供应他人的，因此不太愿意去冒险删掉其中的一局部。从这个角度上可以局部解决P2P系统的FreeRider问题。
一种简单的磁盘存储不透明性可以用文件分块来实现。通过把文件切分成一定大小的文件块，可以自然的把系统上的众多文件数据“混淆〞在一起。把文件分成块，还可以简化一个节点上传大于本地空间大小的文件的设计。另外，在分布式文件系统中，我们希望资源〔包括复本〕可以均匀的分布在更多的节点上，这样可以带来更高的可用性和性能。显然，当文件分成较小的块时，系统中的大文件也更加容易实现在网络中的这种分布。文件分块的一个额外开销是需要在这个网络中维护文件分块信息，并且对文件的请求被分为多个不走。另一个需要在本地处理的问题是，当资源请求超过了本地磁盘配额，如何权衡用户的需要得到满足和节点同时为网络提供存储效劳的矛盾，Front系统本地需要一个平安有效的数据替换算法。
网络互联和文件查询
网络上需要协作的Front节点需要一种方法来知道彼此的存在。节点参加和离开对网络的影响不能太大。因此当网络规模较大时，节点之间不可能两两可知的。相互可知的节点互为邻居，并且可以彼此交换信息，以增强网络连通性或者传递查询请求等。一个理想的网络连接情况是：临近〔IP或者地理位置〕的节点尽可能互为邻居，形成连通性较强的局部网络；距离较远的节点之间保持一定的连通，这样才能让远处的查询得到本地的信息，让整个网络的信息通畅。为了防止网络中的节点孤岛，需要一种方法显式地参加已经存在的网络。
文件的查询涉及命名和查询路由。文件在系统的命名最好可阅读的，并且具有一定的区分性。后者让不同用户发布