FRONT互联网文件存储与共享系统.docx

您可自由编辑】
（物联网）FRONT互联网文件
存储与共享系统
FRONT互联网文件存储和共享系统
刘斌刘忠义
网络实验室
夏冰
数据库实验室
朱彬
软工实验室
摘要本文受台。
这个平台能够选择由预先定义的用户组成，和
Internet上可能存于的其他front网络没有交
互。
)每个参和的节点提供存储空间和壹定的网络带
宽。每个节点的空间组合起来构成全局大容量
的存储共享空间。节点于自己的文件需要的容
量之外仍能够提供壹定比例的“服务空间”，
用于存储全局的其他文件，为别人提供服务。
)文件系统的文件发布和下载对于用户来说好像
本地的壹样。节点上的用户不用关心文件传输
的事情，包括文件内容从哪里获得、发往哪
里。分布式系统数据复制和协议通讯对用户均
是不可见的。
)壹些节点组成的分布式网络中。发布和下载的
需求且不壹定是对称的。例如于壹个极端情况
下，壹个网络中总是由壹个节点于发布(上
传)文件，其他节点均是不同需要的下载者。
)文件系统提供的语义是只读的。文件发布后即
可由他人获得，但不可修改。
)向Front网络上发布的文件可能很大，甚至大
于本地节点提供的共享空间容量。但只要front网络平台上仍有空间，它就应该上传成
功。
本文需要设计壹个网络文件系统，满足之上假
设的应用场景，且且保证这个分布式文件系统的高
可用和高性能。需要解决的问题有下面3个方面：
本地文件系统
首先，为了于本地保证用户提供的“共享空
间”比例，Front于本地磁盘上的存取应该对用户
有壹定的不透明性。也即用户见不到是什么数据
(于操作系统里见就是文件)占用了本地磁盘。壹
种可行的方案是，用户于操作系统里见到的存储文
件不是发布到Front系统的文件的直接形式。发布
的文件能够经过某种转化后存于磁盘上，用户不知
道那个什么文件是自己需要的仍是提供给他人的，
因此不太愿意去冒险删掉其中的壹部分。从这个角
度上能够部分解决P2P系统的FreeRider问题。
壹种简单的磁盘存储不透明性能够用文件分块
来实现。通过把文件切分成壹定大小的文件块，能
够自然的把系统上的众多文件数据“混淆”于壹
起。把文件分成块，仍能够简化壹个节点上传大于
本地空间大小的文件的设计。另外，于分布式文件
系统中，我们希望资源（包括复本）能够均匀的分
布于更多的节点上，这样能够带来更高的可用性和
性能。显然，当文件分成较小的块时，系统中的大
文件也更加容易实当下网络中的这种分布。文件分
块的壹个额外开销是需要于这个网络中维护文件分
块信息，且且对文件的请求被分为多个不走。另壹
个需要于本地处理的问题是，当资源请求超过了本
地磁盘配额，如何权衡用户的需要得到满足和节点
同时为网络提供存储服务的矛盾，Front系统本地
需要壹个安全有效的数据替换算法。
网络互联和文件查询
网络上需要协作的Front节点需要壹种办法来
知道彼此的存于。节点加入和离开对网络的影响不
能太大。因此当网络规模较大时，节点之间不可能
俩俩可知的。相互可知的节点互为邻居，且且能够
彼此交换信息，以增强网络连通性或者传递查询请
求等。壹个理想的网络连接情况是：临近（IP或者
地理位置）的节点尽可能互为邻居，形成连通性较
强的局部网络；距离较远的节点之间保持壹定的连
通，这样才能让远处的查询得到本地的信息，让整
个网络的信息通畅。为了避免网络中的节点孤岛，
需要壹种方法显式地加入已经存于的网络。
文件的查询涉及命名和查询路由。文件于系统
的命名最好可阅读的，且且具有壹定的区分性。后
者让不同用户发布文件较难产生命名冲突。对于系
统内部，对文件（可能被切分成文件块）的识别应
该是唯壹的，能够跟可阅读的文件名壹壹对应。另
外，不同的用户可能发布完全壹样的文件，应该被
识别且且利用起来。当网络中的节点向路由器壹样
连接起来后，每个节点根据本地邻居信息，以壹定
的方式将请求和应答于分布式系统中传播，最终使
请求发起者获得文件的信息。
数据复制和传输
系统中的文件数据需要被合理地分配于分布式
节点上。这壹点保证系统中的文件以尽可能大的概
率存于于网络中且且可达。同时对于文件的传输请
求也能够向传统P2P网络中那样从多个目标节点同
时开始。当文件被分块后，文件的结构信息也应该
被广泛地分布于整个网络中，以使得被更多的节点
可知。数据复制的触发能够放于发布时，当节点有
可能探测到文件的复本可能于网络中下降时，或者
很受欢迎被很多人请求时，也应该出发复制（于后
壹种情况中被称为缓存）。
III