理论教育 Hadoop生态系统及相关平台介绍

Hadoop生态系统及相关平台介绍

时间:2023-06-15 理论教育 版权反馈
【摘要】:Hadoop中HDFS具有高容错特性,同时它是基于java语言开发的,这使得Hadoop可以部署在低廉的计算机集群中,并且不限于某个操作系统。Hadoop中HDFS的数据管理能力,MapReduce处理任务时的高效率以及它的开源特性,使其在同类的分布式系统中大放异彩,并在众多行业和科研领域中被广泛使用。Hadoop生态系统主要由HDFS、YARN、MapReduce、HBase、Zookeeper、Pig、Hive等核心组件构成,另外还包括Flume、Flink等框架,以用来与其他系统融合。

Hadoop生态系统及相关平台介绍

Hadoop是Apache软件基金会旗下的一个大数据分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理大规模数据的分布式程序,充分利用集群的威力进行存储和运算,可以说Hadoop是一个数据管理系统,作为数据分析的核心,汇集了结构化和非结构化的数据,这些数据分布在传统的企业数据栈的每一层,同时Hadoop也是一个大规模并行处理框架,拥有强大的计算能力,定位于推动企业级应用的执行。

Hadoop被公认为是一套行业大数据标准开源软件,是一个实现了MapReduce计算模式的能够对海量数据进行分布式处理的软件框架,Hadoop计算框架最核心的设计是HDFS(Hadoop分布式文件系统)和MapReduce(Google MapReduce开源实现)。HDFS实现了一个分布式的文件系统,MapReduce则是提供一个计算模型。Hadoop中HDFS具有高容错特性,同时它是基于java语言开发的,这使得Hadoop可以部署在低廉的计算机集群中,并且不限于某个操作系统。Hadoop中HDFS的数据管理能力,MapReduce处理任务时的高效率以及它的开源特性,使其在同类的分布式系统中大放异彩,并在众多行业和科研领域中被广泛使用。(www.daowen.com)

Hadoop生态系统主要由HDFS、YARN、MapReduce、HBase、Zookeeper、Pig、Hive等核心组件构成,另外还包括Flume、Flink等框架,以用来与其他系统融合。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈