传统架构下的数据分析大多基于库外分析,对已经存储到数据仓库中的数据通过ETL过程进行处理后,对其规范化数据进行的分析,数据分析是抽取到数据仓库之外进行的。其次传统的数据分析是建立在关系数据模型之上的,主题域之间的内在关系已经创建好,依靠定向的批处理ETL过程来完成,其分析也是在此基础上进行的。数据操作都是在数据库外进行的,其数据分析结果大多都是以报表的形式展现的,数据可视化平台无法发挥其最大性能。
大数据的最大优势是针对非格式化数据和半格式化数据的数据分析,让数据分析在数据中获得更多的洞察力。其数据分析架构已经不需要把数据通过ETL过程抽取出来,可以直接在数据库之内进行库内分析。
●目前数据分析平台。数据分析平台的主要产品如SAS,适合云计算,支持大规模并行处理,分析处理PB级的数据。数据操作平台如Teradata、ORACLE、DB2等。
●可视化分析展现平台。可视化分析展现平台是大数据时代的商业智能的最高层级。可视化应用的主要产品如:Tableau Software、Teradata Aster、EMC Greenplum、SAS。EMC收购Greenplum形成的套件,整合了大规模并行处理(MPP)数据库,能对各种类型数据进行分析和可视化展现。Teradata收购的Aster Data是高级分析和管理各种非结构化数据领域的市场领导者和开拓者。
●商业智能可视化展现产品:如Oracle Hyperion,IBM Cognos等。
大数据产品与技术的发展更好地满足海量数据的存储、处理、大分析、可视化展现,从而给企业界、科技界和商家带来更多的机遇与挑战。
大数据时代体现了信息化时代的高速发展,当今时代数据价值的观念已经深深植根于企业和管理层。IT技术已经迎合了大数据的到来,为其提供技术支撑的平台。以数据为导向,以数据为服务对象,正成为主流。未来业务分析工具将成为IT市场的主流,业务分析工具将主导IT发展。大数据平台架构如图3-4所示。云计算平台提供硬件和软件支持,是物理核心,海量的数据存储与交互处理的核心层。相当于人的大脑。在大数据时代,世界正在从传统IT基础架构向云计算平台迁移。云计算实现了平台互联共享,就像使用电一样使用计算资源。企业或政府都可借助云计算平台的简单操作,不仅节省计算成本,无需IT架构和维护的云计算平台满足业务需求,从而高效率地完成需求任务。移动互联网、互联网、物联网生产数据,输出“大数据”,应用层实现数据价值,通过数据挖掘、报表展现、模型开发、可视化分析、相关分析和其他应用等实现大数据时代数据的真正价值。(www.daowen.com)
图3-4 大数据平台架构
●互联网实现网络互联以及与软硬件平台的通信交互。实现了物联网、移动互联网和云计算平台的互联,相当于人的血管。
●移动互联网对移动终端设备提供网络联网技术支持,如智能手机的网络传输就需要通过移动互联网平台。移动互联网可以和互联网互联实现整合连通,数据信息传输到云计算平台进行保存与交互处理。
●物联网实现对现实的物理设备连接,如办公室里的打印机、家用电器、视频采集设备、音频设备和传感器等都可以通过物理网的网络传输协议实现与互联网的互联。数据信息传输到云计算平台进行保存与交互处理。
●大数据是物联网、移动互联网、互联网和云计算平台的结合应用产生了海量数据的信息层,传统互联网、物联网、移动互联网可以向互联网大数据层提供数据,形成了大数据。利用物联网、互联网、移动互联网和云计算平台为大数据提供的数据可以进行大数据应用研究。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。