随着大数据的繁盛发展,分布式存储架构在近几年中得到了前所未有的关注。当前市场上比较主流的3种分布式存储文件系统分别有AFS、GFS、Lustre。它们的共同点是：全局名字空间、缓存一致性、安全性、可用性和可扩展性。

(一)AFS

由卡内基梅隆大学最初设计开发的AFS,目前已经相当成熟,用于研究和部分大型网络中。AFS是Andrew File System的简称,它的主要组件包括Cells、AFSclients、基本存储单元Volumes、AFS servers和Volume replication。

拥有良好可扩展性的AFS,能够为客户端带来性能的提升和可用性的提高。AFS将文件系统的可扩展性放在了设计和实践的首要位置,因此AFS拥有很好的扩展性,能够轻松支持数百个节点,甚至数千个节点的分布式环境,而且并不要求在每台服务器上运行所有服务器进程。AFS的缺点在于管理员界面友好性不足,需要更多的专业知识来支持。

(二)GFS

被称为谷歌文件系统的GFS(Google File System),是用以实现非结构化数据的主要技术和文件系统。它的性能、可扩展性、可靠性和可用性都受到了肯定,主要在大量运行Linux系统的普通机器上运行,能大大降低它的硬件成本。(www.daowen.com)

文件的大小,一直是文件系统要考虑的问题。对于任何一种文件系统,成千上万的几KB的系统很容易压死内存。所以,对于大型的文件,管理要高效；对于小型的文件,也需要支持,但是并不需要进行优化。在GFS中,chunkserver(数据块服务器)的大小被固定为64MB,这样的块规模比一般的文件系统的块规模要大得多,可以减少元数据metadata的开销,减少Master的交互。但是,太大的块规模也会产生内部碎片,或者同一个chunk中存在多个小文件可能会产生访问热点。

GFS主要部件包括一个master和n个chunkserver,chunkserver同时可以被多个客户访问。不同于传统的文件系统,GFS不再将组件错误当成异常,而是将其看作一种常见的情况予以处理。同样地,GFS也有缺点。经过一系列冗余备份、快速恢复等技术,很难保证它能够正常和高效运行。

(三)Lustre

名称来源于Linux和Clusters的Lustre,也被称为平行分布式文件系统,它是HP、Intel、Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。Lustre的主要组件包括元数据服务器(Metadata Servers,MDS)、对象存储服务器(Object Storage Servers,OSS)和客户端：作为一个遵循GPL许可协议的开源软件Linux常用于大型计算机集群和超级电脑中。

Linux文件系统针对大文件读写进行了优化,能够提供高性能的IO能力。另外,它对源数据独立存储、服务和网络失效的快速恢复、基于意图的分布式锁管理和系统可快速配置方面,表现也十分优异。