随着新技术和新理念的应用，数字化已经渗透到我们生活的方方面面。每个人都是大数据的“生产者”，每天都在产生和共享大量的数据。根据美国著名市场调研公司IDC的统计，全球每秒钟发送的电子邮件达290万封。如果在一分钟内读完一本书，就足够一个人日夜阅读5.5年。每天有28800小时的视频上传到YouTube上，足够一个人日夜观看3.3年；每天有5000万条信息发布在Twitter上。如果你在10秒内读完一条信息，足够一个人夜以继日地浏览16年。亚马逊每天产生630万订单，谷歌每天处理24PB的数据，而大数据仍然每18个月使全球信息量翻一番。

在中国，数据的规模也是巨大的。截至2013年12月，新浪微博月活跃用户1.291亿，日均活跃用户6.14亿，每天发布和转发的信息超过2亿条。截至2013年底，淘宝拥有近5亿注册用户，每天有超过6000万的固定访客。与此同时，每天的网上商品数量已超过8亿件，平均每分钟售出4.8万件商品。2015年11月11日电商购物节，支付宝单日交易7.1亿笔，是2014年同日的6.7倍，支付宝交易数为1.058亿笔，8.59万笔/秒的峰值为2014年的2.23倍（2014年11月11日的峰值为3.85万笔/秒）。

随着移动通信的发展和智能手机的普及，移动互联网得到蓬勃发展，移动互联网的发展使更多的人成为数据的生产者。根据相关统计报告，2016年全球互联网用户数将达到32亿人，约占全球总人口数的44%；其中，移动互联网用户总数将达到20亿。相关报告预计，如果没有新型联网设备出现，截至2020年移动互联网用户总数将以每年2%的比例增长。中国互联网信息中心（CNNIC）发布的第37次《中国互联网络发展状况统计报告》指出，到2015年12月，中国的网民数量已经达到6.88亿人，其中移动互联网用户的数量已经达到6.2亿人，占90.1%，与2014年底相比增长了4.3个百分点，其中仅通过手机上网的网民占18.5%，较2014年底提升了3.2个百分点。在国外，据估计用户每月在Facebook上花费7000亿分钟，移动互联网用户发送和接收的数据量为1.3EB。在我国，中国联通用户上网记录条数为83万条/秒，即1万亿条/月，对应数据量为300TB/月，或3.6PB/年。(www.daowen.com)

大数据被一些人定义为“21世纪的新石油”。2010年个人用户产生的数据达到1.2 ZB，相当于全世界海滩上的沙子数量的总和，这意味着TB、PB、EB已经过时，全球正式进入数据存储的ZB时代（即“泽它时代”），进入大数据时代。根据IDC预测，到2020年，整个世界的数据总量将比2010年增长30倍，达到35.2ZB。而根据IDC在2012年12月份对中国数字世界的预测，到2020年，中国数据总量将增长24倍，达到8.6ZB。

庞大的数据量给我们带来了前所未有的挑战，例如，如何收集大数据，去伪存真，保证数据的全面性和可靠性？如何有效地存储和处理海量的数据？如何从大量数据中挖掘出隐藏的巨大商业价值？如何对结果进行可视化呈现？如何使现有系统弹性地应对数据和负载的动态变化？如何快速构建大数据处理系统并且保证系统的安全简便可用？目前，这些问题已经引起了信息、学术、产业、金融等各个行业甚至政府机构的广泛关注，人们逐渐开始研究如何运用大数据理念和技术来解决上述问题，从而推动了大数据技术和应用的空前繁荣。