随着网络和信息技术的不断普及，带动了互联网、物联网、电子商务、现代物流、网络金融等现代服务业的发展，也催生了车联网、新能源、智能城市、高端装备制造等新兴产业的发展。随着各行业信息化程度的提高，各种业务数据正以几何级数的形式爆发，其收集、储存、格式、检索、分析、应用等存在诸多问题，不能再以传统的信息处理技术加以解决。

资料显示，2011 年全球数据规模为1.8ZB，预计到2020 年全球数据将达到40ZB。我国2010 年新存储的数据为250PB，而2012 年中国的数据存储量达到364EB，约为日本的60%，北美的7%。大量新数据源的出现则导致了非结构化、半结构化数据爆炸式的增长，信息数据的单位也由TB 跨越到ZB 的级别。使用传统方法早已无法处理这些数据，如何管理和使用这些数据，逐渐成为一个新的领域，于是大数据的概念应运而生。

目前对大数据的准确定义尚有一些争论，这就导致大数据的定义有多种。维基百科给出的定义是：大数据是利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。美国国家科学基金会(NSF)则将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集”。全球知名的咨询公司麦肯锡认为：大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合，但它同时指出“大数据”并非总是说有数百个TB 才算得上。根据实际使用情况，有时候数百个GB 的数据也可称为大数据，这主要要看它的第三个维度，也就是速度或者时间维度。IT 权威研究与顾问咨询公司Gartner 则将大数据定义为“在一个或多个维度上超出传统信息技术的处理能力的极端信息管理和处理问题”。(www.daowen.com)

从2009 年开始，大数据成为互联网信息技术行业的流行词汇，大数据起初成熟应用多在互联网行业，互联网上的数据每年增长50%，每两年翻一番，全球互联网企业都意识到大数据时代的来临，数据对于企业有着重要意义。期刊《Nature》和《Science》针对大数据分别出版了专刊“Big Data”和“Dealing with Data”，从互联网技术、互联网经济学、超级计算、环境科学、生物医药等多个方面讨论了大数据处理面临的各种问题。2011 年5 月，麦肯锡全球研究院发布题为《大数据：创新、竞争和生产力的下一个新领域》的报告。报告发布后，大数据迅速成为计算机行业的热门概念。2012 年4 月美国奥巴马政府推出大数据研究和发展倡议，并划拨2 亿美元的专项资金之后，在全球掀起了一股大数据的热潮。

我国的大数据应用仍处于起步阶段。在工信部发布的物联网“十二五”规划中，把信息处理技术作为4 项关键技术创新工程之一提出，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。2013 年，科技部正式启动863 项目“向大数据的先进存储结构及关键技术”，启动5 个大数据课题。