windows下使用idea远程链接Hadoop(Linux)_idea怎么远程连接hadoop版本低于2.6.0

一.配置环境

1.将在Linux系统中解压的hadoop版本(.gz后缀),解压到指定目录
2.配置HADOOP_HOME环境变量
(1)新建环境变量(我解压在F:/)

(2)Path变量

(3)检验:在dos窗口中输入hadoop

3.下载windows下连接hadoop需要的文件
文件链接:https://pan.baidu.com/s/15Ti2XAIJhXYtRyKUf1lYDA
提取码:zie1
(1)将hadoop.dll复制到C:\Windows\System32目录下

(2)将hadoop.dll和winutils.exe复制到F:\hadoop-2.6.0-cdh5.7.0\bin目录下

二.Idea中创建Maven项目,导入依赖

org.apache.hadoop hadoop-client ${hadoop.version}

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>${hadoop.version}</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>${hadoop.version}</version>
</dependency>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>${hadoop.version}</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
  <version>${hadoop.version}</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-common</artifactId>
  <version>${hadoop.version}</version>
</dependency>


<dependency>
  <groupId>junit</groupId>
  <artifactId>junit</artifactId>
  <version>4.11</version>
  <scope>test</scope>
</dependency>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

三.启动

启动


在文件系统中可以看到目录已创建

四.FAQ

1. 报错:UnknownHostException在C:\Windows\System32\drivers\etc:下的hosts中加上Linux系统的ip地址 主机名
   
   2.报错ConnectException:Connection Refused: no further informtion
   
   核对hosts文件的ip地址和window系统hosts文件上的ip是否为Linux系统上的ip地址,如果一致还报错,重启虚拟机.

3.报错权限不足
在FileSystem.get()方法中添加Linux系统的用户

参考文章:https://blog.csdn.net/wxtcstt/article/details/81329329