Idea连接远程centos操作HDFS_idea remote host 添加centos主机

1、 根据配置文件获取HDFS操作对象

static {
        conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.236.135:9000");
        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
1
2
3
4
5
6
7
8
9

解决方案：win系统需要配置HADOOP_HOME变量
下载hadoop-3.0.3.tar.gz 解压
配置HADOOP_HOME
path添加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin
在hadoop目录bin添加winutils.exe 下载地址

解决方案：

    static {
        conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.236.135:9000");
        //本地文件系统 LocalFileSystem     hdfs文件系统 DistributedFileSystem
        conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
1
2
3
4
5
6
7
8
9
10
11

###2、 本地搭建 hadoop3.0.3 maven引入依赖为3.0.3.jar包，在获取文件系统时，DistributedFileSystem类not found，解决为引入hadoop-client.jar 包 (DistributedFileSystem文件位置较2.7.0版本有差异)

      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>3.0.3</version>
     </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-hdfs</artifactId>
          <version>3.0.3</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-client</artifactId>
          <version>3.0.3</version>
      </dependency>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15