当前位置:   article > 正文

IDEA连接hadoop hdfs_idea和hadoop

idea和hadoop

一、下载插件

在这里插入图片描述
进入一下界面, 搜索 big data tools

在这里插入图片描述
重启IDEA

二、本地配置

在这里插入图片描述
首先保证浏览器可以访问到
按照下述步骤创建一个HDFS连接
在这里插入图片描述

在这里插入图片描述
点击Test Connection出现报错,点击哪个报错的链接
在这里插入图片描述
https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems
点击之后出现如下界面,点击to github
下面这个页面就是解决方案,HADOOP_HOME not found
在这里插入图片描述
https://github.com/steveloughran/winutils
在这里插入图片描述
下载解压后,放在某个路径下,并且保存该路径,并且找到对应的hadoop版本,我们要为他配置环境变量。我用的是hadoop-2.7.1
我的路径是 D:winutilswinutils-masterhadoop-2.7.1
在这里插入图片描述

在这里插入图片描述

三、配置环境变量

在桌面上,点击此电脑右键->属性 ->高级系统设置->环境变量
在这里插入图片描述
HADOOP_HOME
D:winutilswinutils-masterhadoop-2.7.1
在这里插入图片描述
点击确定。
找到Path,双击
在这里插入图片描述
新建一个 %HADOOP_HOME%in
在这里插入图片描述

四、再次连接

回到IDEA (建议重启IDEA),重新进行连接。
点击Test connection,可以连接了!!!
在这里插入图片描述
如果出现如下错误
在这里插入图片描述
在linux中随便创建一条数据即可hdfs dfs -mkdir /data/1 在这里插入图片描述
这个时候就连接成功了!
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/444146
推荐阅读
相关标签
  

闽ICP备14008679号