理论教育 HDFS特点及优势

HDFS特点及优势

时间:2023-06-14 理论教育 版权反馈
【摘要】:HDFS 定期(可配置)对节点上的文件块进行校验,避免数据损坏。为了避免数据的丢失和任务的中断,HDFS 通过其容错机制和恢复机制保障整个集群的正常运行,不影响用户使用。

HDFS特点及优势

HDFS 作为一款优秀的分布式文件系统,不仅可以存储大数据,还提供对HBase、MapReduce、Spark 等框架的支持,这是因为它有很多优点。

1.高容错性

上传的数据自动保存多个副本(默认三个),如果某一个DataNode 上的副本丢失,HDFS 会自动复制其他DataNode 上的副本。HDFS 进行文件读写时,会进行校验,如果出错,有重新读写机制。HDFS 定期(可配置)对节点上的文件块进行校验,避免数据损坏。

2.适合大数据的处理

Hadoop 集群中的节点可以有上千个,HDFS 可以在上面构建超大容量的分布式文件系统。HDFS 不仅支持存储TB 级别甚至PB 级别的单个文件,还能够处理百万规模的数据。

3.高并发访问能力(www.daowen.com)

HDFS 采用了多副本机制,当多节点并发访问时,可以根据就近原则为其提供副本数据,提高集群的吞吐量

3.流式文件写入

HDFS 的设计是建立在“一次写入、多次读写”的基础上,这意味着一个文件一旦写入就很少被更改。大数据的分析任务是建立在全部数据之上,对HDFS 来说,读取整个文件要比读取具体某条数据更加高效。

4.可构建在廉价机器上

Hadoop 可以运行在廉价的商用计算机上,这就意味着集群中出现节点故障的概率非常高。为了避免数据的丢失和任务的中断,HDFS 通过其容错机制和恢复机制保障整个集群的正常运行,不影响用户使用。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈