大数据可分为大数据技术、大数据工程、大数据科学和大数据应用等领域。从解决问题的角度出发,目前关注最多的是大数据技术和大数据应用。大数据工程是指大数据的规划、建设运营和管理的系统工程,大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。

大数据技术是指从数据采集、清洗、集成、分析与解释,进而从各种各样的巨量数据中快速获得有价值信息的全部技术。目前所说的大数据有双重含义,它不仅指数据本身的特点,也包括采集数据的工具、平台和数据分析系统。大数据研究的目的是发展大数据技术并将其应用到相关领域,通过解决大数据处理问题来促进突破性发展。因此,大数据带来的挑战不仅体现在如何处理大数据,并从中获取有价值的信息,也体现在如何加强大数据技术研发,抢占时代发展的前沿。(www.daowen.com)

被誉为数据仓库之父的比尔·恩门(Bill Inmon)早在20世纪90年代就提出了大数据的概念。近年来,互联网、云计算、移动计算和物联网迅猛发展,无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互,而业务需求和竞争压力对数据存储与管理的实时性、有效性又提出了更高要求。在这种情况下,提出和应用了许多新技术,主要包括分布式缓存、分布式数据库、分布式文件系统、各种No SQL分布式存储方案等。