大数据容量为PB级的数据规模,因此,海量数据存储系统需要具有一定相应等级的扩展能力。与此同时,存储系统的扩展一定要简便,可以通过增加模块或增加磁盘柜的方式来增加容量,甚至不需要停机。基于这样的需求,客户现在越来越多地选择规模可扩展架构的存储。规模可扩展集群结构的特点是,每个节点除了具有一定的存储容量之外,内部还具备数据处理能力以及互联设备。与传统存储系统的架构完全不同,规模可扩展架构能够实现无缝平滑的扩展,避免存储孤岛的出现。

在文件系统中,文件是文件系统的存储单位,大数据除了数据容量巨大之外,文件数量也十分庞大。因此管理文件系统层累积的元数据是一个困难问题,如果处理不当,将影响到系统的扩展能力和性能,例如传统的NAS存储系统就存在这一问题。但是,基于对象的存储架构就不存在这个问题,它可以在一个系统中管理十亿级别的文件数量,而且还不能够像传统存储一样遇到元数据管理的困扰。基于对象的存储系统还具有广域性扩展能力,可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。(www.daowen.com)

大数据的存储是分布式的存储,并呈现出与计算融合的趋势。由于TB、PB级数据量的急剧膨胀,传统的数据移动方式已经不适用,导致新的融合趋势的存储服务器的出现。在这样的架构中,数据不再移动,写入以后分散存储,它的计算节点融合在数据旁边的CPU中,数据越来越贴近计算节点,形成了以数据为中心的架构。