（一）大数据的发展历程及现状

随着互联网等技术的成熟以及云计算、物联网技术的迅速发展，大数据作为一种创新型的数据处理方式、处理技术由此诞生。

总体上大数据的发展状况是，作为创新型的数据处理技术，大数据与云计算、物联网的融合程度正在不断加深。作为创新型的信息分析工具，大数据与物理学、生物学、环境生态学等领域以及军事、金融、通信等各类行业产业的融合程度也在不断加深。大数据分析的强大作用，使大数据从商业领域跨到了公共服务、外交等各个领域。大数据已成为一个国家竞争力强弱的核心要素，已经成为引领人类社会未来的指南针。

大数据发展规模的不断扩大，正是由大数据技术与越来越多的产业不断融合以及相关技术的进步从而推动大数据技术的不断创新引起的。

（二）大数据的概念

随着计算机、互联网全面地融入社会生活以及信息技术的高速发展，人类已经进入信息爆炸的时代。当信息量累积到一定程度的时候，就产生了“大数据”这个概念。数据作为重要的生产要素已渗透到当今的每一个行业，对海量数据的挖掘效率和运用效率将直接影响着新一轮生产力的增长。大数据是指数据量的大小超出常规的数据库工具的获取、存储、管理和分析能力的数据集合。一般认为，大数据即指海量的、结构复杂的、类型众多的数据构成的集合，其本质为所反映的信息是多维的，能够对现实做比较精确的描述，能够与未来情况做比较精准的预测。

（三）大数据的特点

大数据的特点并非固定不变的，随着现代信息技术、数字技术的高速发展，大数据的特点也是发展变化的，或者可以这么说，大数据本身具有的特点，随着技术的发展会凸显出来。大数据发展至今，人们对大数据的认识也在不断加深，一般认为大数据的主要特点为如下几点：①数据量大。传统数据的处理大多是基于样本统计推断，所能搜集到的样本量也是极小的，所以搜集、存储、处理的数据都是非常少的。而进入大数据时代，各种各样的现代信息技术设备和网络正在飞速产生和承载大量数据，使数据的增加呈现大规模的数据集合形态。②数据类型多样。传统的数据大多是结构化的数据，如调查表等自制的统计表，也有部分的半结构化数据，如针对所需要的目标统计资料而搜集的需要加工改造的其他统计资料。总的来说，数据类型较为单一。而进入大数据时代，数据的结构极为复杂，数据的类型也极其繁多。不仅有传统的结构化文本数据，还包括半结构化和非结构化的语音、视频等数据，包括静态数据与动态数据。③数据搜集速度快。大数据内在要求使其对数据的搜集、存储、处理速度必须非常快。大数据是以数据流的形式存在的，快速产生，具有很强的时效性。如何更快、更高效、更及时地从海量数据中搜集所需要的数据并及时处理，是从大数据中获取价值的关键之一。④数据价值。虽然大数据具有海量的资料，但是对于具体数据的需求主体，其真正有价值的部分还是有限的，即大数据的价值密度是极小的，但是较基于样本统计推断的传统数据而言，大数据中有价值的部分也是接近总体的，所以大数据必然是极具商业价值的。⑤数据真实，即数据的质量真实、可靠。传统数据下，官员为政绩、学界为交差、商界为名利，注水性数据导致硬数据软化特别严重，传统数据的质量是深受怀疑的。大数据情况下，虽然为了既定目标经过处理后的大数据可能会掺水造假，但是原始的数据资料是造不得假的。当对处理后的数据产生怀疑时，大可以对原始大数据进行复核，大数据具有真实性的特点。⑥数据是在线的。数据是永远在线的，其是随时能调用和计算的，这是大数据区别于传统数据最大的特点。数据的在线性也为数据的共享提供了可能，数据又具有共享性。⑦数据的可变性。海量的数据并不都是所需要的，所以要将数据处理改造成自身所需要的。不同的个人、企业等主体对数据的需求是不同的，但是可以从相同的数据池中取得数据源处理成自身所需要的数据，所以大数据具有可变性。⑧数据的高渗透性。越来越多的行业对信息的数量、质量需求越来越高。随着大数据与各个行业、产业的结合，与社会经济生活的融合，大数据将具有更多与具体的技术、行业、产业融合而产生的新特点。

对大数据的特点进行全面认识和分析后，发现大数据的首要特点是海量的数据，而海量信息的本质是包含多维的信息、全面的信息。相较于传统的大数据特点，从海量的数据中获得所需要的信息更为重要。一般地，大数据处理基本流程包括数据源、数据采集、数据处理与集成、数据分析、数据解释五个步骤。

（四）大数据的经济价值和社会价值

近年来，在以云计算、Hadoop为代表的数据分析技术、分布式存储技术的帮助下，对积累的数据进行全面的分析成为可能，各行、各业纷纷以构建大数据的解决方案作为未来战略的主要方向。大数据的价值点就在于海量的数据、全面的信息，更准确地模拟现实世界，从而精准地预测未来。大数据的经济价值和社会价值主要体现在大数据对企业、政府、产业这三方面的促进作用上。(www.daowen.com)

图3-1　大数据处理基本流程

第一，大数据促进企业创新，优化企业资源配置。首先，大数据促进企业更深入了解客户的需求。传统的了解客户的方式主要是通过调查问卷、电话访谈、街头随机问话等方式，这些传统的方式，所获得的数据量是极少的，受调查区域的制约，所调查的数据也缺乏代表性。但是应用大数据，通过互联网技术可以追踪到大量的对本企业感兴趣的客户，运用相关性分析客户的偏好，对客户进行精准分类，从而生产或提供客户满意的商品或服务。其次，大数据促进企业更准确地锁定资源。应用大数据技术，企业可以精准地锁定自身发展所需要的资源。企业可以对搜集的海量数据进行分析，了解到这些资源的储备数量和分布情况，使得这些资源的分布如同在电子地图上一样，可具体地展现出来。与此同时，大数据促进企业更好地规划生产。传统方式下的企业生产具有很大的盲目性，企业依据市场价格的涨落并结合自身的经验，推测市场是供不应求还是供过于求，以此确定企业生产什么，生产多少，但是通过应用大数据来规划生产框架和流程，不仅能帮助企业发掘传统数据中难以得知的价值组合方式，而且能够对组合生产的细节问题提供相关的一对一的解决方案，为企业生产提供有力保障。此外，大数据能够促使企业更好地运营。传统企业的营销大多依靠自身资源、公共关系和以往的案例来进行分析和判断，得到的数据不仅模糊不可靠，而且由于市场是动态变化的，得到的数据可能有很大偏差。应用大数据的相关性分析，企业的营运方向将更加的直观且更容易辨析，在品牌推广、地区选择、整体规划方面更能从容应对。最后，大数据能够促进企业更好地开展服务。对于提供服务或需要提供售后服务的企业，服务不能满足客户而造成客户流失是一个不得不面对的困难。可面对规模庞大、地域分布散乱和风俗习惯各异的客户，企业在如何改进服务，怎么完善服务方面总是显得力不从心，甚至有时候精心设计提升的服务却不是客户所需要的。但是大数据可以针对顾客群体细分，然后对每个群体量体裁衣般采取独特的行动，同时根据客户的属性，从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失率、提高客户消费等。

第二，优化社会公共服务，提升政府决策能力，以此来促进政府管理创新。大数据能够提高社会管理与服务水平，推动政府相关工作的开展，提高相关部门的决策水平、服务效率和社会管理水平，实现巨大社会价值。大数据也有利于政务信息的公开。数据开放是趋势，大数据的应用可以助推云计算打破“信息孤岛”，实现信息共享，促进政府部门之间信息的衔接。应用大数据技术可以检验政务部门在云计算平台上共享数据的真伪，从而在一定程度上监督政务部门公开真实信息，形成用数据说话、用数据管理、用数据创新政务管理模式。

第三，助推传统产业升级，优化市场结构。大数据具有科学、专业、精准的分析和预测功能，有利于推动经济结构的转型、产业的升级。大数据能够促使经济增长方式由“高投入、高消耗、高污染、低效益”的粗放型经济增长方式转变为集约型、精益型的经济增长方式。利用大数据分析，每一个企业规划生产都能做到科学生产、精益生产、低碳生产。同时，在分析需求时，又能准确地分析出各个阶层、性别、年龄段等不同类别的消费者需要什么，需要多少，甚至什么时候需要，即C2B的商业模式，这样的模式降低了行业内部盲目竞争的程度，提升商品生产的能力。大数据还能增加市场的透明度，使市场主体能得到更多的信息，使市场主体的经济行为更趋于理性。同时，因为信息透明度提升，市场主体之间信息共享度提升，尤其是诚信信息，这将增强市场主体诚信经营的意识，促进市场信用机制的完善。大数据对于解决市场的滞后性、盲目性有巨大的作用。大数据的精准预测能力增强了市场主体对市场变化的了解。针对市场的变化，市场主体可以提前做好采取相应的某种对策的准备，且由于大数据所搜集的信息的多维性、全面性，市场主体可以考虑市场多方面的变化，预先制定应对不同变化的策略，减少其市场行为的滞后性和盲目性。

一方面，大数据推动了政府对市场的了解，以便政府更能处理好与市场的关系，更好地发挥政府的作用。另一方面，大数据使市场这只“看不见的手”越发的透明化，使市场存在的诸如外部性等问题能及时暴露出来，政府这只“看得见的手”便能通过制定相应的规则规范市场或者及时出手干预，以保证市场的良好运行。

（五）我国大数据发展现状

大数据作为一门新兴产业，在我国的发展还处于市场初级阶段。从结构上看，我国大数据市场与其他市场存在一定的区别，在我国大数据市场中，软件比重较大，而服务比重较小。我国大数据发展的问题大体有如下三个方面：

一是大数据商业应用程度还比较低，大数据产业发展结构不均衡。大数据产业处于割地而立的阶段，各企业只占领大数据中一块小的细分领域，很难变大变强。部分领域又存在激烈竞争，如舆情监控。总而言之，我国大数据产业还处在极度分散的状态，优秀的人才分布在不同企业，很难形成人才合力。各家企业规模小，很难在企业做深做大，很难利用大数据帮助企业实现业务提升。大多数企业的工具和数据很难满足企业整体的数据要求，中国的数据挖掘和产品分析也很难和国外的产品进行竞争。

二是我国大数据相关的政策法规存在滞后性。政策法规的滞后性是我国大数据应用面临的最大瓶颈，如隐私问题、数据开发和数据的共享与保护。大数据要形成海量的数据库，必然会涉及数据的共享，在共享中又要注意保护数据的隐私问题以及数据提供企业的相关权利。

三是我国大数据企业里，大部分企业还是应用的结构化数据，非结构化数据却应用较少，这就使得我国很难形成真正意义上的“大数据”。从云计算的方式看，大部分企业选择自建大数据平台，很少企业通过云计算实现，这也约束了我国大数据产业的发展。