大数据带来的变化是从集中走向分布,从以计算为中心转向以数据为中心,分布式存储的架构是大数据存储架构的发展方向。

(一)融合架构

融合架构方法是面对大数据存储的一个很好的选择。通过融合架构可以实现计算与存储相融合,进而获得更高的管理效率和更高效能。

从虚拟化、云计算数据保护和融合架构三个维度设计数据中心,可以减少整合的时间和网络问题判断的时间,并能够实现统一集中透明管理,可以根据工作负载实时动态配置资源,也可以实时监控,进行故障诊断、排除故障。

融合架构具有不同的形态,其中一种形态是在原来硬件基础上装配一个软件,然后形成融合架构。实现目的是在线扩展、动态负载平衡,在最大限度提高部署效率前提下,降低因为硬件问题而导致的应用性能降低和应用的不稳定性。

(二)服务级别

利用移动硬盘就可以存储数据,但是不同于放在数据中心和网络云上的存储享受的服务级别。为了不使数据成为整个企业发展的负担,而是成为价值增长点,从资料变成资产,基础架构需要快速、安全地支持新的技术手段,应用级别和服务级别的定义需要有很好存储架构。集群存储系统是面向实际的应用设计,满足应用分级、资源分层的需求。(www.daowen.com)

(三)PCIe闪存卡

非结构化的大量数据快速变成信息,不仅要求服务器工作速度快,存储速度也需要与CPU的速度相匹配,闪存正是针对当前网络存储速度落后的解决方案,能够有效提高存储的性能。在云计算、大数据时代,集中式存储管理和维护非常困难,分布式存储模型是大势所趋。在这其中,PCIe闪存卡、全闪存阵列以及SDK工具,支持提升各种应用的性能。

SSD不只是让数据变快,通过SSD在数据中心的使用,能够帮助节约成本,降低延迟,加快访问数据的速度,同时还能够提高可靠性和管理级别,结合DRM的使用进行软件分层管理。

大数据分析流程和传统的数据仓库的方式完全不同,其已经变成了业务部门级别和数据中心级别的关键应用。这也是存储管理员的切入点。随着基础平台变得业务关键化,用户群更加紧密地依赖这一平台,这也使得其成为企业安全性、数据保护和数据管理策略的关键研究课题。

用于数据分析平台的分布式计算平台内的存储不是面对的网络连接存储(NAS)和存储区域网络(SAN),而是内置的直连存储(NAS)以及组成集群的分布式计算节点。这就使得管理大数据变得更为复杂,因为无法像以前那样对这些数据部署安全、保护和保存流程。然而,执行这些流程策略的必要性集成于管理分布式计算集群之中,并且改变了计算和存储层交互的方式。