1.大数据产生的背景

现代信息技术产业已经拥有70多年的历史，其发展的过程先后经历了几次浪潮。先是20世纪六七十年代的大型机浪潮，此时的计算机体型庞大，计算能力也不高。20世纪80年代以后，随着微电子技术和集成技术的不断发展，计算机各类芯片不断小型化，兴起了微型机浪潮，PC成为主流。20世纪末，随着互联网的兴起，网络技术快速发展，由此掀起了网络化浪潮，越来越多的人能够接触到网络和使用网络。

近几年随着手机及其他智能设备的兴起，全球网络在线人数激增，我们的生活已经被数字信息所包围，数据以自然方式增长，其产生不以人的意志为转移。而这些所谓的数字信息就是我们通常所说的“数据”，我们可以将其称为大数据浪潮，也可以进一步看出，智能化设备的不断普及是大数据迅速增长的重要因素，如图1-15所示。

图1-15　“数据爆炸”时代

智能设备的普及、物联网的广泛应用、存储设备性能的提高、网络带宽的不断增长都是信息科技的进步，它们为大数据的产生提供了储存和流通的物质基础。

数据产生方式的变革促成大数据时代的来临。传统IT企业业务系统、门户网站大约占大数据主要来源的15%。随着数据生产方式变得自动化，数据生产融入每个人的日常生活，伴随着社交网络兴起，大量的用户自生成内容、音频、文本信息、视频、图片，出现了非结构化数据。目前，图像、视频和音频数据所占的比例越来越大，物联网产生的数据量更大，加上移动互联网能更准确，更快速地收集用户信息，如环境、位置、生活信息等数据，使得数据量处于急剧加速增长的趋势。根据IDC做出的估测，数据一直都在以每年50%的速度增大，人类在最近两年产生的数据量相当于之前产生的全部数据量，如图1-16所示。

大数据产业包括了IT基础设施层、数据源层、数据管理层，数据分析层、数据平台层和数据应用层。在不同的层面都已经形成了一批引领市场的技术和企业。(www.daowen.com)

图1-16数据生产方式的演变

2.大数据的发展历程

（1）萌芽时期（20世纪90年代至21世纪初）。“大数据”概念最初起源于美国，早在1980年著名未来学家阿尔文·托夫勒所著的《第三次浪潮》书中将“大数据”称颂为“第三次浪潮的华彩乐章”。随着90年代复杂性科学的兴起，不仅给我们提供了复杂性、整体性的思维方式和科学研究方法，还给我们带来了有机的自然观。1997年，NASA阿姆斯科研中心的大卫·埃尔斯沃斯和迈克尔·考克斯在研究数据的可视化问题时，首次使用了“大数据”概念。他们当时就坚信信息技术的飞速发展，一定会带来数据冗杂的问题，数据处理技术必定会进一步发展。1998年，一篇名为《大数据科学的可视化》的文章在美国《自然》杂志上发表，大数据正式作为一个专用名词出现在公共刊物之中。

（2）发展时期（21世纪初至2010年）。21世纪的前十年，互联网行业迎来了飞速发展的时期。2001年，美国Gartner公司率先开发了大型数据模型。同年，分析师道格·莱尼提出数据增长的挑战和机遇有三个方向：量（Volume，数据量大小）、速（Velocity，数据输入输出的速度）、类（Variety，数据多样性），合称“3V”。在此基础上，麦肯锡公司增加了价值密度（Value），构成“4V”特征。

2005年大数据实现重大突破，Hadoop技术诞生，并成为数据分析的主要技术。2007年，数据密集型科学的出现，不仅为科学界提供了全新的研究范式，还为大数据的发展提供了科学上的基础。2008年，美国《自然》杂志推出了一系列有关大数据的专刊，详细讨论了有关大数据的一系列问题，大数据开始引起人们的关注。2010美国信息技术顾问委员会（PITAC）发布了一篇名为《规划数字化未来》的报告，详细叙述了政府工作中对大数据的收集和使用，美国政府已经高度关注大数据的发展。

（3）兴盛时期（2011年至今）。2011年，IBM公司研制出了沃森超级计算机，以每秒扫描并分析4TB的数据量打破世界纪录，大数据计算迈向了一个新的高度。紧接着，麦肯锡发布了题为《海量数据，创新、竞争和提高生成率的下一个新领域》的研究报告，详细介绍了大数据在各个领域中的应用情况，以及大数据的技术架构。2012年世界经济论坛在瑞士达沃斯召开，会上讨论了大数据相关的系列问题，发布了名为《大数据，大影响》的报告，向全球正式宣布大数据时代的到来。

2011年之后，大数据的发展进入了全面兴盛的时期。大数据渗透到各行各业，不断改变原有行业的技术，创造新技术，大数据的发展呈现出旺盛的趋势。