在详细介绍大数据技术之前,需要先弄清楚几个读者最关心的同时也是最基本的问题。
1.大数据到底是什么
伴随着互联网、物联网、移动互联网、电子商务、社交网等网络信息化的推广和应用,各行各业在几十年的信息化过程中,积累了大量的历史数据,而这些新的数据还在不断增长。与此同时,数据的形态也发生了巨大的变化,以往的格式化数据正在过渡到格式化和非格式化数据共存的时代(如视频、图像、文本数据)。各类数据源每天都在生成大量的数据并传输到云计算平台,以供前端数据挖掘、模型建设、数据分析以及数据可视化展现等使用,为各业务层提供服务,真正地实现了让数据说话。大数据与其他行业之间的关系如图1-1所示。
图1-1 大数据与其他行业之间的关系
●云计算。云计算简称为“云”,是一种通过互联网按需交付计算资源(从应用到数据中心都属于计算资源)和按使用付费的基础架构。打个比方,我们目前所用的电就是按使用的电量收费,如果不用电,也就不需要付费。云计算就相当于国家电网,属于供应商,向用户提供电,用户用多少就收多少费用,不用资源就收回,可以供其他人使用。云计算分为公共云(公共云由一些公司运营和拥有,这些公司使用这种云为其他组织和个人提供服务,按合理的价格计算资源并收费。使用公共云的好处,在于用户无需购买硬件、软件或支持基础架构,这些都是由提供商拥有并管理的)、私有云(私有云由单个公司运营和拥有,资源使用不对外)和混合云(混合云以私有云作为基础,同时结合了公共云服务的策略使用。事实上私有云是不会独立于公司其他的IT资源和公共云而单独存在的。大多数使用私有云的公司都将发展为管理跨数据中的工作负载、私有云和公共云创建了混合云)。云服务商通过云计算平台提供基础设施即服务(laaS)、应用平台即服务(PaaS)、软件即服务(SaaS)。
●物联网、移动互联网、银行网络、电子商务、医疗行业网络、社交网以及政府网络属于应用层,可以利用云计算实现不同的服务需求。
●大数据应用层:对于物联网、移动互联网、银行网络、电子商务、医疗行业网络、社交网以及政府网络等应用层产生的数据,通过大数据应用层进行数据的分析,如数据挖掘、模型建设、数据分析、数据可视化展现等。
●云计算与大数据的关系。云计算与大数据之间的关系正如一枚硬币的正反两面,有了云计算提供软件和硬件相结合的计算平台,大数据才能有用武之地,才能满足大数据需要的计算与分析需求。可以说,有了云计算才能玩转大数据,有了大数据所以需要云计算。
回到前面的问题——大数据是什么?大数据就是指难以用传统的软件工具存储、管理和分析的大容量数据。而大数据技术则是指通过对大数据的提取、交互、整合和分析,为政府、企业或其他机构的管理层提供决策信息,发现隐藏在数据背后的信息,挖掘数据信息的价值。
大数据技术具有四项典型特征:海量数据、数据的多样性、交互响应的高速性和数据的易变性。
(1)海量数据
海量数据是指数据量规模增长到PB级以上,而不仅是几个TB数据量。
(2)数据的多样性
数据的多样性是指数据不再单纯以传统的表格形式存储到数据库或数据仓库中,而可以有更多的数据格式,结构化数据与非结构化数据并存。如普通文本数据属于结构化数据,图片、视频、位置信息、链接类信息等属于非结构化数据,存储的数据类型不固定,属于新型多结构数据。
(3)交互响应的高速性
在大数据时代,高并发性访问的用户和提交的数据量都是巨大的,交互响应的高速性是指当用户提交请求时响应的交互速度要快,而不能让用户长时间等待。例如,当数量过亿的用户同时访问脸谱网(Facebook)时,大数据量的访问要求交互速度要快速地响应每一个用户提交的请求。
(4)数据的易变性
大数据所存储的数据具有多变的形式和类型,和传统数据相比,大数据存在不规则和模糊不清的特征,它不具有标准的格式,因此很难使用传统分析软件进行数据分析、数据挖掘和模型创建等操作。(www.daowen.com)
2.大数据给我们带来的影响
大数据时代的到来将对如下几个方面产生影响:
(1)改变商业营销模式
在大数据时代,我们需要的是实时响应用户需求。如果我们不实时关注用户对我们商品的评价,那么在一天之内,对某个商品负面评价可能就会传遍全国甚至全球,这对企业而言带来的损失是巨大的,我们需要实时回应用户对商品的评价与批评。损失可能早已无法换回了。
(2)改变人们的生活方式
大数据驱动人化生活方式的改变,用户可以更快捷、更便利的获得服务。例如随着手机银行的普及,我们可以通过对手机银行用户海量的数据分析,来发现手机银行用户经常喜欢通过手机银行办理哪些业务,以及对服务还有哪些需求,并进行提前预测,这就可以尽量避免用户去银行营业厅办理业务,节省用户时间的同时也为银行节约了宝贵的人力服务成本。
(3)改变人们的工作方式
未来我们可能不再需要每天朝九晚五到办公地点上班,在家庭办公、根据需要按时间办公的方式将得到推广。
(4)改变企业的管理模式
传统的企业管理模式已经不能适应信息化时代的要求,信息化时代打破了传统的自上而下的审批流程,需要快速地决策和定位,更多地放权给一线人员,实时决策,以把握机遇。
3.大数据的重要性
大数据之所以引起如此高的关注度和备受重视,其根本原因在于数据能够创造价值。如果数据无法创造价值,数据就是一堆垃圾。大数据技术让数据成为信息的源泉,无论是个人、企业,还是国家,都会从中受益。
(1)对个人的意义
大数据对我们的日常生活非常有意义,大数据可以通过环境数据所采集到的信息预测未来几天的环境情况,从而让个人及时做好自身的健康保护,防止在外出时由环境污染带来的危害。交通拥堵成为城市的诟病,大数据还可以通过交通数据所采集到的信息告诉我们城市道路的整个通行情况,同时给出行者提供一个最优的路况选择,以避开拥堵的路线。
(2)对企业的意义
大数据是信息化的一个重要推动力。对企业而言,借助大数据所蕴含的价值,挖掘利用数据所传递的信息,帮助企业提供决策、创新发展模式都将产生深远影响。发展大数据产业对于推动我国企业由粗放型向集约型发展将起到关键作用。
(3)对政府的意义
大数据将帮助政府获得更多的新闻评论信息,借助社交媒体网站、微博、微信等网络媒体可以监控社会舆情、民众关注度以及社会治安情况等,从而让政府管理层更快地发现问题,并作出决策,可以有效地提升政府的管理能力和效率。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。