1.大数据的概念与特点

2011年，麦肯锡公司首次提出了大数据（Big Data）的概念。2012年后，“大数据”这一名词频繁地出现在人们的视野之中。大数据是指以容量大、类型多、存取速度快、价值密度低为主要特征的数据集合。对于大数据，学术界和企业界尚未形成公认的准确定义，但这并不影响社会各界对大数据的研究与应用。美国国家科学基金会将大数据定义为：基于仪器、传感器、互联网交易、电子邮件、视频等数据源所生成的大规模的、多元化的、综合的、追踪性的分布式数据集。大数据正发展成为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。美国IBM提出了大数据的5V特点：大量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（Value）和真实性（Veracity）。需要指出的是，大数据的实际意义不在于单纯数据量有多么庞大，而在于对这些背后隐含价值的数据进行专业化处理并发现数据背后的关联与价值，换而言之，大数据更注重提高对数据的加工能力，通过加工实现数据的增值。

2.大数据与云计算

大数据包括结构化、半结构化和非结构化数据，而非结构化数据越来越成为数据的主要部分。结构化数据也被称作行数据，是能够由二维表结构来逻辑表达和实现的数据，它遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。结合到具体应用场景中更容易理解，比如企业ERP或财务系统、医疗HIS数据库、教育一卡通、政府行政审批、其他核心数据库等，都属于结构化数据。与结构化数据相对的是不适于由数据库二维表来表现的非结构化数据，如图片和音频、视频信息等。大数据是能够用常规软件工具进行捕捉、管理的数据集合，大数据需要新处理模式才能实现其背后的价值。互联网的初期数据并不大，但是随着互联网特别是移动互联网的发展与普及，每天产生的数据是海量的，这么庞大的数据应该怎么进行处理呢？这就涉及云计算，只有云计算才能对大数据进行处理，才能使数据成为具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在以云计算技术为代表的创新支撑下，那些过去看起来很难收集和使用的数据开始被很好地利用起来，并通过各行业的应用和不断创新为人类创造更多的价值。

大数据与云计算，从技术上看，二者的关系就像一枚硬币的正反面一样密不可分。大数据必须采用分布式架构进行计算，它的特点在于对海量数据进行分布式数据挖掘。实时的大型数据集分析需要像MapReduce（一种编程模型，用于大规模数据集如大于1TB的并行运算）一样的框架来向数十、数百或甚至数千的电脑分配工作。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。目前，大数据分析技术已有多种，但对非结构化数据的挖掘方法尚未形成体系，主要以描述量化、频数分析等量化思路为主，以及基于模型的多维聚类等。大体来说，大数据挖掘技术可分为两类：一类是基于假设的模型，这是传统模型方法的升级，是一种计算机辅助的人机综合系统；另一类是不基于假设的机器学习模型，即完全采用计算机进行建模分析，使计算机模拟人类学习行为，在数据实时增加的情况下自动调节模型，不断增加变量，以做出更好、更精准的决策。机器学习将是未来发展的主要方向。大数据基于丰富的数学模型和精准判断，即使有时某个结论仅作为经验公式而未能找到清晰的理论依据，但它的价值在于鼓励人们不断去探索。

3.大数据与智慧决策(www.daowen.com)

大数据时代的到来，让决策变得更简单、更科学，依靠数据分析、决策将逐渐成为常态。通常的数据积累缺点是杂乱繁多，在技术落后的过去，对庞大数据的深层次发掘与分析，由于工作量巨大而往往使人们望而却步。随着社会的进步，计算机超大规模运算能力呈几何级增长，云技术的发展彻底打破了海量数据处理的困境。基于大数据的数据挖掘及数据分析算法，虚拟化技术支持、分布式数据库、分布式处理方式与云存储等技术手段，使得大数据分析成为国民经济和诸多产业发展必不可少的重要手段。大数据技术的应用，可以帮助我们探求庞大数据背后事物的“真相”。以往随机统计、抽样调查的方式，已经不能满足当前社会发展需求，从精度和深度各方面，远远比不上大数据分析得出的结果。大数据对事物发展深层次规律的探索和把握，将使我们通过现象，越来越接近事物发展的“真相”，并广泛应用于各个领域，其价值将不可估量。

爱因斯坦曾说过：“上帝永远不会掷骰子。”尽管当今世界信息技术已高度发达，但近几年诸多社会问题和突发事件又告诉我们，大数据隐藏着巨大的社会、经济和科研价值。舍恩伯格在被誉为国外大数据系统研究先河之作的《大数据时代》中就指出，大数据的核心就是预测。也有研究表明，人类行为93%是可预测的。大数据应用的一个很重要方面，就是从海量数据中发现知识，寻找隐藏在数据中的模式、趋势和相关性，揭示社会现象与预知社会发展规律。如美国麻省理工学院通过手机信息研究进行犯罪预测等。大数据为我们看待世界提供了一种全新的方法，决策将日益基于数据和分析而作出，而并非基于经验和直觉，大数据将使人类更加“少谋善断”。

4.大数据应用前景

当前，数据成为国家基础性战略资源，在全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。部分发达国家已相继制定实施大数据战略性文件，大力推动大数据发展和应用。通过对国外大数据成功案例的统计分析可以发现，国外大数据应用主要集中在以下几个方面：一是社会安全。主要涉及治安、消防、食品安全、交通和灾害等，主要是通过大数据实现安全事件的早期发现和介入、降低损害，占31.7%。二是开放数据接口。主要是通过可编程接口来获取数据以支持更多数据产品和服务的开发应用，占17.1%。三是城市建设。涉及街道、公共设施等选址规划和维护，主要关注点是通过大数据提高城市建设的市民参与度和满意度，占14.6%。四是社会保障。主要是通过大数据发现最需要帮助的对象及整合可以提供帮助的社会力量，占12.2%。五是儿童与教育。主要是通过大数据更有效地分配教育资源或定位困难学生以帮助其完成学业等，占9.8%。六是就业与创业。主要是运用大数据识别就业和创业中的供需不平衡并加以引导，占7.3%。七是环境与可持续。主要是利用传感器等数据识别和排查污染和耗能高发地区，以便早期发现和介入，占7.3%。合计约三分之二的成功案例来自社会安全、城市建设和社会保障等社会治理领域，既表明这方面的问题急需解决，同时又说明大数据在这些领域可以大有作为。

目前，我国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和市场优势，大数据部分关键技术研发业已取得突破，涌现出一批互联网创新企业和创新应用，一些地方政府已启动大数据相关工作。因此，大数据在我国的发展前景广阔。正如被誉为“大数据商业运用第一人”的舍恩伯格曾经说过的，大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙，显微镜让我们能够观测到微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发。当前，坚持创新驱动发展、加快大数据部署、深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。为适应社会治理环境复杂化、多元化的发展趋势，借助大数据提升社会治理的精准性、预见性，也是势在必行。此外，在政府行政体制改革、日常管理和公共服务领域大力发展和运用大数据，也有助于破解体制性障碍、机制性束缚、保障性困扰，实现城乡统筹、区域协调，使互联网发展成果更多地惠及广大民众。