理论教育 Hadoop平台的运行和验证方法

Hadoop平台的运行和验证方法

时间:2023-06-14 理论教育 版权反馈
【摘要】:在初学的时候由于配置步骤不熟悉或者集群非正常关闭,会出现进程都已启动,但是DataNode 为0 的情况。可以通过Web 访问查看集群情况,或者运行Hadoop 自带的MapReduce 实例验证集群节点情况,如果出现异常,可以根据每个节点下log 日志查看异常原因。通常执行"stop-all.sh"命令,通过jps 查看是否还有僵尸进程存在,有的话将其杀死;然后删除/hadoop/hdfs/tmp 目录下所有文件,重新对其格式化。

Hadoop平台的运行和验证方法

在配置Hadoop 集群的时候,会不小心多次执行启动和格式化,这样可能会造成NameNode 和DataNode 中clusterID 值不一致,遇到这种情况需要修改DataNode 中的clusterID 即可,位置在/hadoop/hdfs/tmp/dfs/data/current/VERSION。

在初学的时候由于配置步骤不熟悉或者集群非正常关闭,会出现进程都已启动,但是DataNode 为0 的情况。可以通过Web 访问查看集群情况,或者运行Hadoop 自带的MapReduce 实例验证集群节点情况,如果出现异常,可以根据每个节点下log 日志查看异常原因。通常执行"stop-all.sh"命令,通过jps 查看是否还有僵尸进程存在,有的话将其杀死;然后删除/hadoop/hdfs/tmp 目录下所有文件,重新对其格式化。

在浏览器中输入地址http://192.168.254.128:50070 检查NameNode 和DataNode 是否启动正常,如图2-16,2-17 所示:

图2-16 NameNode Web 信息

图2-17 DataNode Web 信息

在浏览器中输入地址http://192.168.254.128:18088 检查Yarn 是否启动正常,如图2-18 所示:(www.daowen.com)

图2-18 Yarn Web 信息

也可以在master 节点运行Hadoop 自带的MapReduce 例子,已验证整个集群是否正常。进入目录/hadoop/hadoop-2.6.5/share/hadoop/mapreduce/,运行命令:

hadoop jar hadoop-mapreduce-examples-2.6.5.jar pi 10 10

上述代码是通过启动10 个map 和10 个reduce 任务求pi 值,如果出现如图2-19结果表明整个集群正常:

图2-19 MapReduce pi 运行实例

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈