理论教育 在大数据时代下的多平台共存:必然选择

在大数据时代下的多平台共存:必然选择

时间:2023-06-28 理论教育 版权反馈
【摘要】:传统架构平台与大数据平台架构将共存,根据不同的需求,未来将需要多平台共存,而不单单是传统架构下的库内分析平台,云计算平台将帮助分析非格式化数据与半结构化数据。I/O问题是数据仓库系统的瓶颈,通道如何更宽,如何有更多通道也是大数据处理、大数据分析需求的要求。大数据时代海量数据的大规模并行处理架构,可以帮助提高海量数据分析的性能,目前在一体机设备中采用MPP架构设计。多平台共存,多平台共享将成为未来的主流。

在大数据时代下的多平台共存:必然选择

传统架构平台与大数据平台架构将共存,根据不同的需求,未来将需要多平台共存,而不单单是传统架构下的库内分析平台,云计算平台将帮助分析非格式化数据与半结构化数据。如今一体机设备出现将数据库软件与硬件结合,根据研发试验,找到合理的软硬件配置比例,从而最大化地提高软硬件性能。为了满足海量数据处理与存储,同时满足海量数据分析的需求,一体机设备问世,也是当今和未来市场的主流。一体机”已经进入“增长上升期”,两年内将被各行业大规模应用,未来全球将有很多企业选择一体机作为自己的数据仓库解决方案。一体机的性能如图3-5所示,可以告诉我们未来为什么要用一体机?

978-7-111-44579-1-Chapter03-7.jpg

图3-5 一体机的性能

1)打破传统硬件架构下的性能瓶颈,让软硬件性能更高,匹配度更好。

I/O问题是数据仓库系统的瓶颈,通道如何更宽,如何有更多通道也是大数据处理、大数据分析需求的要求。

2)海量数据时代,数据仓库性能的需求比以前高了。

数据仓库系统的建设包括硬件(如主机、存储、互联网络)和软件(数据库、操作系统、其他相关工具软件),而决定数据仓库综合性能的主要因素包括CUP的性能、内存大小、存储能力(存储容量,存储设备的读写性能等)、I/O性能(磁盘的数量、磁盘转速、主机和存储设备之间的通道带宽)。数据仓库的并行能力决定了数据仓库对硬件资源的利用效率。

3)海量数据分析,并行处理架构(MPP)一体机应用,提高了海量数据并行处理能力。

大数据时代海量数据的大规模并行处理架构(MPP),可以帮助提高海量数据分析的性能,目前在一体机设备中采用MPP架构设计。

数据仓库一体机在综合性能方面得到极大的改善,如计算能力I/O性能提高,数据库性能得到最佳配比,并行能力增强,并发查询与动态支持度提高,混合负载管理模式,支持高性能的数据压缩

目前主要的数据仓库一体机如下:

●Teradata公司利用自己的Teradata数据仓库,根据软硬件性能配比推出自己的一体机设备。

●Oracle公司推出Oracle数据库一体机,分别有两种规格:如Oracle Exadata和SPARC SuperCluster。

●IBM公司推出IBM Netezza一体机。

●EMC公司推出Greenplum DCA一体机。

未来企业还需要组建云平台(hadoop),实现非格式化和半格式化数据分析。电子商务医疗行业网络、银行网络、移动互联网络、物联网络、社交网和政府网络等,都可以与云计算(hadoop)平台互联,实现传统架构下无法满足的数据分析需求。通过云计算平台实现数据挖掘、模型建设、数据分析和数据展现。(www.daowen.com)

多平台共存,多平台共享将成为未来的主流。

可以预见,未来大数据将向如下几个方面发展:

1)云计算与云服务引领新一轮产业革命。

2)大数据分析工具的应用与研发成为主流,真正实现了数据可视化分析,尤其是可视化分析技术工具的应用未来大有市场。如今大数据可视化展现技术得到很好的应用,把数据背后的信息以更形象的方式展现给人们,如通过图形、动画、趋势线等形式展现数据背后隐含的信息,从而发现有价值的信息,提供可靠依据,用数据说话,帮助企业和管理层决策。例如,商业智能的可视化展现,电商网上交易额比较如图3-6所示,通过趋势线可以直观、形象地展现前年、去年、今年网上交易额的情况。通过柱状图(见图3-7)可以分析每一个地区的网上交易额情况。

3)移动智能终端和网络呈现融合发展。

978-7-111-44579-1-Chapter03-8.jpg

图3-6 网上交易额比较

978-7-111-44579-1-Chapter03-9.jpg

图3-7 电商网上交易额比较

4)社会化网络服务的商业智能分析成为客户管理的核心。

5)物联网技术将渗透到智慧产业的各个领域,发展潜力巨大。

6)第三方数据服务平台技术未来发展空间巨大。

7)大数据、云计算、物联网、互联网和移动互联网等技术更趋向整体搭配、融合发展,互相补充。

8)一体机时代迎合了大数据的技术需求,从软件和硬件上进行合理的搭配以发挥出软硬件的最大性能。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈