理论教育 大数据分析优化方法的分析介绍

大数据分析优化方法的分析介绍

时间:2023-05-21 理论教育 版权反馈
【摘要】:顾名思义,大数据可以理解为大量的数据。大到无法通过人脑来直观统计的数据才能称为大数据。例如,一辆汽车的制造可以由不同的国家分别制造零部件,这些零部件共同构成了这辆汽车。在大数据技术中,数据的可视化是重要的组成部分。图5-3城市管理大数据可视化2)大数据的应用场景智慧城市助推大数据的产生,给大数据提供了广阔的应用市场。大数据的出现,开启了一次重大的时代转型。

大数据分析优化方法的分析介绍

1)大数据的概念

当人们走进餐馆吃饭的时候,所有的菜名以及价格等通过菜单直观地展现给人们,这些用一张纸所呈现的东西就是人们俗称的数据。日常生活中还有很多形形色色的数据,如物体的长、宽和高;人的身高、体重;学生的数量、男女比例、教职工人数等,这些数据是可以直观感受到的,那么大数据和这些数据之间有什么不同之处呢?顾名思义,大数据可以理解为大量的数据。数据要大到什么程度才能称为大数据呢?大到无法通过人脑来直观统计的数据才能称为大数据。

正是大数据所包含的数据量过于庞大,在处理数据的时候需要采用高性能分布式计算。分布式计算是将巨大的数据计算任务分成计算机可以承受的小任务,实现并行处理,这样可以大大提高数据的处理速度。目前,主流的高性能分布式计算有HADOOP,STORM和SPARK等。

以上所提及的只是大数据的一个特点,除了数据量大,大数据还具有其他的特点,如数据的异构性。异构是指一个整体由多个不同的成分构成。例如,一辆汽车的制造可以由不同的国家分别制造零部件,这些零部件共同构成了这辆汽车。可以说这辆汽车是异构的。通常,大数据由结构化、半结构化以及非结构化数据构成,表格就是一种结构化数据;邮件、报表和资源库等是半结构化数据,典型的场景有邮件系统、档案系统等;视频、音频、图像等形式的数据是非结构化数据。总的来说,现在的数据类型不只是简单的数字组合,还可能是图片、视频、地理位置信息等多种类型的数据,这些数据形式所容纳的信息越来越丰富。

处理大数据时大多采用非关系型数据库,以存储多种多样的数据类型,如用文档型数据库存储集合数据,用图数据库存储以节点属性为基础的数据,用内存数据库将数据放在内存上直接进行操作等。目前的非关系型数据库是存储异构性数据的主流解决方案,主要包括Redis,MongodDB,Hbase等。

在大数据技术中,数据的可视化是重要的组成部分。可视化帮助人们更好地分析数据,借助图形化的手段,清晰地将数据信息展现出来。目前受欢迎的大数据可视化工具主要有Jupyter,Tableau,Google Chart,Js等。通过这些工具可以实现将数据本身的价值直观地展现出来,如图5-3所示。

图5-3 城市管理大数据可视化(来源于网络)

2)大数据的应用场景(www.daowen.com)

智慧城市助推大数据的产生,给大数据提供了广阔的应用市场。

①在交通管理方面,通过对道路交通信息的数据挖掘,能有效地缓解交通拥堵,并快速响应突发情况,为城市管理的良性运转提供科学的决策依据。

②在停车位管理方面,借助大数据实时统计进入停车场的汽车数目和它所停放的区域,智能显示各个区域的剩余车位数目,以方便用户停车(图5-4)。

图5-4 停车位智能显示图(来源于网络)

③在环保管理方面,以古树保护为例,通过生物感应设备的信息采集,可以得到由环境、灌溉、施肥、疾病、虫害等引起的树木生理紊乱数据,这些数据是不够的,还需要结合视频图像和人工采集的数据一起分析,从而获取更可靠的信息数据,为古树的保护提供更有效的参考数据。

大数据的出现,开启了一次重大的时代转型。数据在互联网时代,占领着鳌头的地位,信息的重要性日益提高,大数据改变了社会,影响着每个人的生活和思维方式。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈