大数据其实也不是新概念，美国未来学家阿尔文·托夫勒在其《第三次浪潮》一书中，将大数据赞颂为第三次浪潮的华彩乐章。从2011年，麦肯锡研究院发表了题为《大数据：创新、竞争和生产力的下一个领域》的研究报告，报告指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。麦肯锡的报告在商业领域引起了极大的关注，大数据迅速成为了各国政府、商业界及计算机界争相传诵的热门概念。

1.大数据的发展历程与内涵

就云计算、大数据和物联网这几大新技术而言，“大数据”的内涵远远超越物联网、云计算等信息技术的概念。物联网本质上是器物层面的技术，从大数据的视角而言，是采集数据的终端。云计算本质上是IT服务交付手段的变革，并由此引发一系列技术基础架构的更新。物联网和云计算都是信息技术发展到一定阶段的自然延伸，依然属于信息技术范畴。^[2]而大数据则是数据积累到一定规模后引发的质变。大数据超越信息技术，使人们重新界定国家竞争的主战场，重新审视政府治理水平，重新认识科学研究的新范式，重新审视产业变迁的驱动因素，重新理解投资的决策依据，重新思考公司的战略和组织结构。正如马云先生所言：未来的世界，我们将不再由石油驱动，而是由数据驱动。

虽然大数据已经成为全社会热议的话题，但到目前为止，“大数据”尚无公认的统一定义。从技术角度看，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。但大数据真正的本质不在于“大”，而是在于背后跟互联网相通的一整套新的思维。大数据跟传统的数据最大的差别在哪呢？

1）在线：首先大数据必须是永远在线的，而且在线的还必须是热备份的，不是冷备份的，不是放在磁带里的，是随时能调用的。不在线的数据不是大数据，因为根本没时间把它导出来使用。只有在线的数据才能马上被计算、被使用。

2）实时：大数据必须实时反应。新型计算架构和智能算法等新技术为处理大数据提供了技术基础，使得数据的反应速度大大提高。例如在淘宝网上输入一个商品，后台必须在10亿件商品当中瞬间进行呈现。如果要等一个小时才呈现的话，相信没有人会再上淘宝。10亿件商品、几百万个卖家、1亿的消费者，瞬间完成匹配呈现，这才叫大数据。

3）全貌：大数据还有一个最大的特征，它不再是样本思维，它是一个全体思维。以前一提到数据，人们第一个反应是样本、抽样，但是大数据不再抽样，不再调用部分，这里要的是所有可能的数据，它是一个全貌。其实称其为全数据比大数据更准确。

想要系统地认知大数据，必须要全面而细致地分解它，下面着手从以下3个层面来展开。

第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据、政府的大数据、企业的大数据和个人的大数据等多个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

2.大数据产业发展特点分析

近几年，大数据产业在全球都获得了飞速发展，全球市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈，具体呈现出以下几大特点。

（1）政府数据开放程度低，难以获取到高价值的数据资源

要想利用大数据必须先得到数据，在中国，最有价值的大数据都分散在各个政府部门，这些数据量大而价值高。阿里巴巴的数据容量也就是100PB左右，而仅一个北京市政府就拥有几百个PB的数据容量，相当于10个阿里巴巴，全国政府各部门的大数据加起来至少也该有数百甚至上千个阿里巴巴的体量。而且，政府大数据不同，它涉及工商、税务、司法、交通、医疗、教育、通信、金融、地理、气象、房产、保险及农业等领域，数据的种类繁多，关联性强，统计规格较为统一，便于应用处理，是价值非常高的数据。但目前，政府还没有将这些大数据共享出来，这大大限制了整个产业的发展。幸运的是，国务院于2015年8月31日发布了《关于促进大数据发展的行动纲要》，对政府大数据的共享做出了明确的规定，为数据的开发带来了一丝曙光。

（2）市场增速略有放缓，应用成为新的增长动力

2014年，全球大数据市场规模实现53.2%的增长，比2013年57.6%的增速略有回落，但快速增长态势不变，且远快于整个信息和通信技术市场的增长速度。^[3]从Gartner 2014年最新的技术成熟度曲线中可以看出，大数据作为新兴领域，已经进入应用发展阶段，基础设施建设带来的规模性高速增长出现逐步放缓的趋势，技术创新和商业模式创新推动各行业应用逐步成熟，应用创造的价值在市场规模中的比重日益增大，并成为新的增长动力。

（3）产业生态不断优化，基础设施建设更加合理

2014年，Hadoop、Spark和Storm等开源技术得到更广泛的认可和应用，大数据技术生态圈形成。同时，各国政府、企业和产业组织非常重视大数据产业生态建立和环境优化，不断地通过建设基础设施，制定法律法规、政策体系和数据标准，加强数据安全和隐私保护等方法完善大数据生态环境，进而提升国家对数据资源的掌控能力和核心竞争力。美国、日本、韩国和澳大利亚等国家加强数据中心、宽带网络、无线网络、大数据研发中心和实验基地等基础设施建设。其中，美国政府为了提高数据中心的效率和推广大数据，将全国的数据中心进行整合，计划到2015年，联邦数据中心数量将从2094个减少到1132，减少近46%。

（4）开源推动创新，自主创新与开源有机融合

最后，大数据技术发展与开源运动的结合也成为大数据技术创新中的一个鲜明特点。领先企业进行前沿创新，创新成果通过开源得到不断完善并向全社会辐射，原创与开源相得益彰，在国际上形成了一套高效运转的研发产业化体系。开源模式让人们“不必重复发明轮子”，能够降低研发和采购成本，还能够启发新的创意，加快再创新步伐。特别是开源Apache Hadoop的大范围应用，大大加速了大数据应用进程，一大批互联网公司和传统IT企业都从这种技术扩散体系中受益。在此背景下，国内大数据技术研发也应该把自主创新和开源结合起来，以更加开放的心态融入国际大数据技术创新潮流中去。

3.大数据应用状况分析(www.daowen.com)

整体而言，全球的大数据应用处于发展初期，中国的大数据应用才刚刚起步。具体来说，大数据应用表现出以下几大特点。

（1）总体应用水平不高，行业发展不均衡

陈新河老师认为，数据的本质就是对客观世界的画像，信息化发展的过程就是采用更先进、更科学的方法为更广阔的领域画像，这一发展过程如图1-8所示。

从图1-8可以看出，从数据角度看信息化发展，可将信息化分为小数据时代和大数据时代，其中小数据时代的主要任务是商业流程的电子化，日常做得最多的ERP、CRM等系统实施就是这个阶段最典型的工作。进入大数据时代，信息化应用的领域大大扩展，从地理空间到用户行为、商业、生理和设备等的画像将信息化不断推向深入，也急速扩大了信息产业的空间和规模。目前大数据已经进入了从概念炒作向实际应用的关键转折期，但行业发展不均衡，应用呈散发状，并没有形成燎原之势。首先，互联网行业大数据应用一马当先，成为当前大数据应用的领跑者；其次，金融行业大数据应用异军突起，成为互联网金融创新的重要利器；而医疗行业和工业的大数据应用尚待突破。

图1-8 从数据角度看信息化发展历程

（2）传统行业正在积极探索，尚缺乏有效的应用模式

当前大数据还未形成普遍应用的局面，对大多数企业，特别是传统领域的企业而言，还未找到有效的应用模式，总体上看呈现以下几个方面的特点：首先，理念的应用快于数据的应用；其次，从数据源看，大数据的应用还处于自给自足的“小农经济”时代，现有的应用仍然以机构内部数据为主，以部分公开的互联网数据为辅；第三，从技术角度看，多数应用仍然使用传统分析工具，只是扩大了数据的来源，增加了数量，大数据技术应用较少，且与传统技术融合不够；第四，从应用效果看，目前的大数据应用以延续改善现有业务和产品为主，突破性创新应用尚不多见。

尽管金融、电信、零售、制造、医疗、交通、物流和IT等行业对大数据应用表现出极大的热情，但目前在媒体和各种论坛上所公开的大数据应用案例仍然非常零散，这表明大家虽然都很关注大数据，但应用仍然存在一定的困难。Gartner公司预测，大数据技术需要5年左右才会成为较普遍采用的主流技术，对发展大数据技术要有足够的耐心。

4.发展大数据应避免的误区

目前业界对大数据有了一种近乎宗教般的崇拜，仿佛有了大数据，未来就会明明白白地展现在面前。其实，大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心。针对目前存在的一些对大数据的夸大现象，李国杰院士专门撰文给予提醒，要避免大数据应用带来的误区。^[4]

（1）不要一味追求“数据规模大”

大数据的主要难点不是数据量大，而是数据类型多样、要求及时回应和原始数据真假难辨。一味追求数据规模大不仅会造成浪费，而且效果未必很好。多个来源的小数据的集成融合可能挖掘出单一来源大数据得不到的大价值。应多在数据的融合技术上下工夫，重视数据的开放与共享。数据规模大与应用领域有密切关系，有些领域几个PB的数据未必算大，有些领域可能几十TB已经是很大的规模。发展大数据不能无止境地追求“更大、更多、更快”，要走低成本、低能耗、惠及大众、公正法治的良性发展道路，要像现在治理环境污染一样，及早关注大数据可能带来的“污染”和侵犯隐私等各种弊端。

（2）不要“技术驱动”，要“应用为先”

新的信息技术层出不穷，信息领域不断冒出新概念、新名词，估计继“大数据”以后，“认知计算”、“可穿戴设备”和“机器人”等新技术又会进入炒作高峰。人们习惯于跟随国外的热潮，往往不自觉地跟着技术潮流走，最容易走上“技术驱动”的道路。实际上发展信息技术的目的是为人服务，检验一切技术的唯一标准是应用。发展大数据产业一定要坚持“应用为先”的发展战略，坚持应用牵引的技术路线。技术有限，应用无限。

（3）大数据的效益不是短时间就能获得的

大数据的应用效益不是飞跃突进的，必须依靠长期的不断累积。从搜索、广告和推荐等成熟应用来看，大数据的应用效果并非立竿见影，其巨大的效益是在日积月累的微小进步中逐渐形成的。而且，累积效益的获取，主要靠持续不断的技术迭代。互联网企业一直奉行敏捷开发、快速迭代的软件开发理念，往往在一两周内就能完成一个“规划、开发、测试、发布”的迭代周期。大型互联网企业通过这种长期持续“小步快跑”的研发方式，支撑了大数据应用效果的持续提升，建立了技术上的领先优势。

（4）不能抛弃“小数据”方法

流行的“大数据”定义是：无法通过目前主流软件工具在合理时间内采集、存储和处理的数据集。这是用不能胜任的技术定义问题，可能导致认识的误区。按照这种定义，人们可能只会重视目前解决不了的问题，如同走路的人想踩着自己身前的影子。其实，目前各行各业碰到的数据处理多数还是“小数据”问题。用户面对的问题是有优先级的，要先解决最重要、最急切的问题，而优先级最高的问题恰恰不是大数据能够解决的。大数据擅长细节上的改进，只会锦上添花，不会雪中送炭，对那些管理问题成堆的机构帮不上忙，多数企业与政府部门现在还没有锦上添花的条件。大数据是一种从混乱数据中挖掘信息的技术，并不等于精准的业务管理，对现有的业务数据的有效利用仍然是现阶段信息化建设的核心任务。

（5）要高度关注构建大数据平台的成本

目前全国各地都在建设大数据中心，这些系统的成本都非常高。数据挖掘的价值是用成本换来的，不能不计成本，盲目建设大数据系统。什么数据需要保存，要保存多少时间，应当根据可能的价值和所需的成本来决定。大数据系统技术还在研究之中，美国的E级超级计算机系统要求能耗降低1000倍，计划到2024年才能研制出来，用现在的技术构建的巨型系统能耗极高。不要攀比大数据系统的规模，而是要比实际应用效果，比完成同样的事消耗更少的资源和能量。发展大数据与实现信息化的策略一样：目标要远大、起步要精准、发展要快速。