理论教育 如何在Windows上搭建HDFSEclipse远程开发环境

如何在Windows上搭建HDFSEclipse远程开发环境

时间:2023-06-14 理论教育 版权反馈
【摘要】:图3-10Hadoop Lcation 设置2点击左边的DFS Locations 即可看到下图3-11 所示,由于整个集群并没有进行任何操作,只有tmp 和user 两个文件夹。

如何在Windows上搭建HDFSEclipse远程开发环境

一、将hadoop-2.6.5.tar.gz 解压在Windows 下

在解压过程中可能会有提示错误,这是由于Linux 文件格式和Windows 不一样造成的,可以忽略。

二、下载Eclipse

Eclipse 的下载页面http://www.eclipse.org/downloads/packages/release/Mars/1,如图3-6 所示:

图3-6 Eclipse 下载页面

下载后解压即可。远程开发需要使用插件hadoop-eclipse-2.6.0.jar(2.6.0 表示对应Hadoop 版本号,需保持一致),下载地址https://github.com/winghc/hadoop2xeclipse-plugin,将下载好的插件放入eclipse 安装目录下的dropins 文件夹中,如图3-7所示:

图3-7 插入存放位置

放置好之后,按照1、2、3 进行操作,如下图3-8 所示:

图3-8 Map/Reduce 视图设置

点击Map/Reduce Locations,然后在其下面空白处右键,选择New Hadoop Location,如下图3-9 所示:

图3-9 Hadoop Lcation 设置1

将值修改为下图3-10 所示,1 是为该配置起一个名字,2 是填写整个Hadoop集群master 的IP 地址,3、4 分别设置通信端口号,5 为用户名。设置完毕后点击finish。

(www.daowen.com)

图3-10 Hadoop Lcation 设置2

点击左边的DFS Locations 即可看到下图3-11 所示,由于整个集群并没有进行任何操作,只有tmp 和user 两个文件夹。

图3-11 HDFS 视图

该方法为HDFS 的可视化操作,可以通过右键对其执行创建文件夹,上传下载文件,如图3-12 所示:

图3-12 HDFS 视图操作

此时可能会出现如图3-13 所示权限错误,可以通过HDFS shell 更改权限(hdfs dfs -chmod 777 /tmp)并refresh,如图3-14 所示:

图3-13 权限错误

图3-14 HDFS 文件查看

还可以通过访问http://192.168.254.128:50070/查看HDFS,如图3-15,3-16 所示:

图3-15 HDFS Web 访问接口

图3-16 Web 方式查看HDFS

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈