使用IDEA工具通过Java API 访问HDFS_idea连接hadoop is not accessible or does not exist

---

一，了解 HDFS Java API

Hadoop文件系统API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/index.html

（一）HDFS常见类与接口

Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例，下表整合了一些类或接口：

（二）FileSystem的常用方法

FileSystem类API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/filesystem.html

FileSystem对象的一些方法可以对文件进行操作，如下表所示：

二，编写Java程序访问HDFS

01 创建Maven项目

创建名称为HDFSDemo的Maven项目

创建成功

02 添加相关依赖

在pom.xml文件里添加hadoop和junit依赖

1.在pox.xml文件中添加如下内容：

<dependencies>             
    <!--hadoop客户端-->                       
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>     
    <!--单元测试框架-->                            
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>                                                      
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2.下载相关依赖到本地仓库
3.查看下载好的依赖

03 创建日志属性文件

（1）在resources目录里创建log4j.properties文件

1.右击【resources】，选择【New】，单击【Resource Bundle】
2.在弹出的对话框中输入log4j，按【ok】键，成功创建

3.向log4j.properties文件中添加如下内容：

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
1
2
3
4
5
6
7
8

04 启动集群HDFS服务

在主节点输入命令：start-dfs.sh

在Hadoop WebUI界面查看

05 在HDFS上创建文件

注：在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件+

（1）创建net.army.hdfs包

1.右击【java】，选择【New】，单击【Package】
2.在弹出的对话框中输入：net.army.hdfs，按下回车键，创建成功

（2）在net.army.hdfs包里创建CreateFileOnHDFS类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】
2.在弹出的对话框中输入：CreateFileOnHDFS，按下回车键，创建成功

（3）编写create1()方法

create1()源码

@Test                                                    
public void create1() throws Exception {
                    
    // 创建配置对象                                            
    Configuration conf = new Configuration();            
    // 定义统一资源标识符（uri: uniform resource identifier）       
    String uri = "hdfs://master:9000";                   
    // 创建文件系统对象（基于HDFS的文件系统）                             
    FileSystem fs = FileSystem.get(new URI(uri), conf);  
    // 创建路径对象（指向文件）                                      
    Path path = new Path(uri + "/ied01/hadoop.txt");     
    // 基于路径对象创建文件                                        
    boolean result = fs.createNewFile(path);             
    // 根据返回值判断文件是否创建成功                                   
    if (result) {
                                           
        System.out.println("文件[" + path + "]创建成功！");     
    } else {
                                                
        System.out.println("文件[" + path + "]创建失败！");     
    }                                                    
}                                                        
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

注：导包不要导错了，请仔细对照

运行程序，查看结果
在Hadoop WebUI查看

（4）编写create2()方法，事先判断文件是否存在

create2()源码

@Test                                                                    
public void create2() throws Exception {
                                    
    // 创建配置对象                                                            
    Configuration conf = new Configuration();                            
    // 定义统一资源标识符（uri：uniform resource identifier)                        
    String uri = "hdfs://master:9000";                                   
    // 创建文件系统对象（基于HDFS的文件系统）                                             
    FileSystem fs = FileSystem.get(new URI(uri), conf);                  
    // 创建路径对象                                                            
    Path path = new Path(uri + "/ied01/hadoop.txt");                     
    // 判断路径对象指向的文件是否存在                                                   
    if (fs.exists(path)) {
                                                  
        // 提示用户文件已存在                                                     
        System.out.println("文件[" + path + "]已经存在！");                     
    } else {
                                                                
        // 基于路径对象创建文件                                                    
        boolean result = fs.createNewFile(path);                         
        // 根据返回值判断文件是否创建成功                                               
        if (result) {
                                                       
            System.out.println("文件[" + path + "]创建成功！");                 
        } else {
                                                            
            System.out.println("文件[" + path + "]创建失败！");                 
        }                                                                
    }                                                                    
}                                                                        
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

运行程序，查看结果

06 写入HDFS文件

注：类似于HDFS Shell里的hdfs dfs -put命令

（1）在net.hw.hdfs包里创建WriteFileOnHDFS类

1.右击【net.army.hdfs】包，选择【New】，单击【Java Class】

2.在弹出的对话框中输入：WriteFileOnHDFS，按下回车键，创建成功

（2）将数据直接写入HDFS文件

创建write1()方法

write1()源码

@Test                                                  
public void write1() throws Exception {
                   
    // 创建配置对象                                          
    Configuration conf = new Configuration();          
    // 定义统一资源标识符（uri: uniform resource identifier）     
    String uri = "hdfs://master:9000";                 
    // 创建文件系统对象（基于HDFS的文件系统）                           
    FileSystem fs = FileSystem.get(new URI(uri), conf);
    // 创建路径对象（指向文件）                                    
    Path path = new Path(uri + "/ied01/hello.txt");    
    // 创建文件系统数据字节输出流（出水管：数据从程序到文件）                     
    FSDataOutputStream out = fs.create(path);          
    // 通过字节输出流向文件写数据                                   
    out.write("Hello Hadoop World".getBytes());        
    // 关闭文件系统数据字节输出流                                   
    out.close();                                       
    // 关闭文件系统对象                                        
    fs.close();                                        
    // 提示用户写文件成功                                       
    System.out.println("文件[" + path + "]写入成功！");       
}                                                      
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

运行write1()测试方法，查看结果，抛出RemoteException异常，三个数据节点都在运行，但是无法写入数据
修改代码，设置数据节点主机名属性，如下图所示
运行程序，查看结果
在Hadoop WebUI查看hello.txt文件

（3）将本地文件写入HDFS文件

在项目根目录创建一个文本文件test.txt

1.右击【HDFSDemo】，选择【New】，单击【File】
2.在弹出的对话框中输入test.txt，按下回车键，创建成功

3.向test.txt文件添加如下内容：

hello linux world
hello hadoop world
hello zookeeper world
hello hive world
hell hbase world

1
2
3
4
5
6

创建write2()方法

write2()源码

@Test                                                                          
public void write2() throws Exception {
                                           
    // 创建配置对象                                                                  
    Configuration conf = new Configuration();                                  
    // 设置数据节点主机名属性                                                             
    conf.set("dfs.client.use.datanode.hostname", "true");                      
    // 定义统一资源标识符（uri: uniform resource identifier）                             
    String uri = "hdfs://master:9000";                                         
    // 创建文件系统对象（基于HDFS的文件系统）                                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                
    // 创建路径对象（指向文件）                                                            
    Path path = new Path(uri + "/ied01/exam.txt"
1
2
3
4
5
6
7
8
9
10
11
12