理论教育 什么是大数据?从量到质的创新数据处理模式

什么是大数据?从量到质的创新数据处理模式

时间:2023-06-09 理论教育 版权反馈
【摘要】:大数据本身是一个比较抽象的概念,单从字面来看,它表示数据规模的庞大。由此可见,大数据并不仅仅指数据量的庞大,而是带来了新的数据处理模式和工具的创新。大数据的价值并不是数据本身,而是数据背后所隐藏的对业务有影响的信息和知识。

什么是大数据?从量到质的创新数据处理模式

大数据(Big Data)本身是一个比较抽象的概念,单从字面来看,它表示数据规模的庞大。但是仅仅数量上的庞大显然无法看出大数据这一概念和以往的“海量数据”(Massive Data)、“大规模数据”(Large-Scale Data)等概念之间有何区别。Gartner咨询公司将大数据定义为,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是:大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。由此可见,大数据并不仅仅指数据量的庞大,而是带来了新的数据处理模式和工具的创新。大数据的价值并不是数据本身,而是数据背后所隐藏的对业务有影响的信息和知识。而发现这些信息和知识,则需要更智能的算法进行数据分析和挖掘。

目前,普遍认为大数据具有4V特征,即规模性(Volume)、多样性(Variety)、高速性(Velocity)、价值性(Value),这些特性使其区别于“海量数据”“超大规模数据”等传统数据概念。

●规模性是指需要分析和处理的数据集的大小,目前这些数据集的大小通常大于TB和PB级。国际数据公司(IDC)预测,到2025年,全球数据量增加至163ZB[9]。与传统的存储和处理能力相比,海量的数据需要不同的处理技术。

●多样性是指大数据的来源和类型多种多样,数据来源可能包括交易、社交媒体、传感器和移动设备等。数据类型通常包括三种类型:结构化数据、半结构化数据和非结构化数据。数据类型的多样性通常需要不同的处理能力和专门的算法。(www.daowen.com)

●高速性是指数据处理速度快,时效性要求高。除了管理数据,企业还需要信息的快速流动——尽可能接近实时。数据必须在正确的时间可以用于分析,以便企业做出适当的业务决策。因此,速度可能比数量更重要,拥有有限的实时数据比拥有大量低速数据更好,因为它能给企业更大的竞争优势。

●价值性是指大数据潜藏着巨大的价值。相比传统的小数据,大数据最大的价值在于从大量不相关的各类型数据中,挖掘对未来趋势与模式预测分析有价值的信息,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,运用于生产生活的各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈