devbox
凡人多烦事01
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

4.4学习笔记 使用Java API操作HDFS_import org.apache.hadoop.fs.path 是干什么的

作者：凡人多烦事01 | 2024-05-03 14:47:21

赞

踩

import org.apache.hadoop.fs.path 是干什么的

目录

（一）了解HDFS Java API

1、HDFS常见类与接口

2、FileSystem的常用方法

（二）编写Java程序访问HDFS

1、创建Maven项目

2、添加相关依赖

3、创建日志属性文件

4、启动集群HDFS服务

5、在HDFS上创建文件

6、写入HDFS文件

 （1）将数据直接写入HDFS文件

 （2）将本地文件写入HDFS文件

7、读取HDFS文件

(1）读取HDFS文件直接在控制台显示

 （2）读取HDFS文件，保存为本地文件

8、重命名目录或文件

(2）重命名文件

9、显示文件列表

（1）显示指定目录下文件全部信息

(2）显示指定目录下文件路径信息

10、获取文件块信息

11、创建目录

12、判断目录是否存在

13、判断Path指向目录还是文件

14、删除目录或文件

（1）删除文件

（2）删除目录

（一）了解HDFS Java API

1、HDFS常见类与接口

·Hadoop整合了众多文件系统，HDFS只

类或接口功能描述
org.apache.hadoop.fs.FileSystem一个通用文件系统的抽象基类，可被分布式文件系统继承。
org.apache.hadoop.fs.FileStatus文件状态接口，用于向客户端展示系统中文件和目录的元数据。具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。
org.apache.hadoop.fs.FileDataInputStream文件输入流，用于读取Hadoop文件。
org.apache.hadoop.fs.FileDataOutputStream文件输出流，用于写Hadoop文件。
org.apache.hadoop.fs.Configuration访问配置项，所有配置项的值，如果在core-site.xml中有对应的配置，则以core-site.xml为准。
org.apache.hadoop.fs.Path路径，用于表示Hadoop文件系统中的一个文件或一个目录的路径。
org.apache.hadoop.fs.PathFilter路径过滤器接口，通过实现方法PathFilter.accept(Path path)来判断是否接收路径path表示的文件或目录。

2、FileSystem的常用方法

  • FileSystem对象的一些方法可以对文件进行操作
方法名功能描述
copyFromLocalFile(Path src, Path dst)从本地磁盘复制文件到HDFS
copyToLocalFile(Path src, Path dst)从HDFS复制文件到本地磁盘
mkdirs(Path f)建立子目录
rename(Path src, Path dst)重命名文件或文件夹
delete(Path f)删除指定文件

（二）编写Java程序访问HDFS

1、创建Maven项目

  • 创建Maven项目 - HDFSDemo

·单机【Finish】按钮

2、添加相关依赖

·在pom.xml文件里添加hadoop和junit依赖

<dependencies>                                    
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>                                 
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>                                                     

·进入/https://mvnrepository.com/

·搜索hadoop，选择3.3.4扳本，复制红色边框内依赖

3、创建日志属性文件

·在resources目录里创建log4j.properties文件

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%

4、启动集群HDFS服务

·在主节点上执行命令：start-dfs.sh

`在Hadoop WebUI界面查看

5、在HDFS上创建文件

·创建net.hw.hdfs包，在包里创建CreateFileOnHDFS类

 ·在HDFS上有/ied01目录，在该目录里创建hadoop.txt文件

package net.zhj.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：在HDFS上创建文件

 */
public class CreateFileOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 创建文件
        boolean result = fs.createNewFile(path);
        // 判断是否创建成功
        if (result) {
            System.out.println("文件[" + path + "]创建成功！");
        } else {
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}

注意：导包千万不要导错了

 ·运行程序，查看结果

 ·利用HDFS集群WebUI查看

 ·再次运行程序，由于hadoop.txt已经存在，此时会提示用户创建失败

·创建 CreateFileOnHDFS_类

·在HDFS上判断 /ied01/hadoop.txt是否存在

package net.zhj.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
 /*事件判断文件是否存在*/

public class CreateFileOnHDFS_ {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符
        String uri = "hdfs://master1:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 判断路径对象指定的文件是否存在
        if (fs.exists(path)){
            //提示用户文件已存在
            System.out.println("文件"+path+"已存在");
        }else {
            // 创建文件
            boolean result = fs.createNewFile(path);
            // 判断文件是否创建成功
            if (result) {
                System.out.println("文件[" + path + "]创建成功！");
            } else {
                System.out.println("文件[" + path + "]创建失败！");
            }
             }
    }
}

 ·运行程序，包已存在

 ·此时怎么出现创建失败的情况呢？让HDFS 进入安全模式（只读，不能写）

 ·删除已经创建的 ied01/hadoop.txt

·执行命令: hdfs dfsadmin -safemode enter(leave 离开)

·此时，再次运行程序，查看结果，抛出SafeModeException异常

 ·下面，修改程序，来处理可能会抛出的安全模式异常

 ·运行程序，查看结果

 ·关闭安全模式

 ·再次运行程序，查看结果

6、写入HDFS文件

·在net.hw.hdfs包里创建WriteFileOnHDFS类

 （1）将数据直接写入HDFS文件

package net.zhj.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;


public class WriteFileOnHDFS {
    @Test
    public void write1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性（不写入，会报错）
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master1:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向目录或文件）
        Path path = new Path(uri + "/ied01/hello.txt");
        // 创建文件系统数据字节输出流
        FSDataOutputStream out = fs.create(path);
        // 通过字节输出流向文件写数据
        out.write("Hello Hadoop World".getBytes());
        // 关闭输出流
        out.close();
        // 关闭文件系统对象
        fs.close();
    }
}

`运行write1()测试方法，查看结果

`利用HDFS集群WebUI查看hello.txt文件

 （2）将本地文件写入HDFS文件

`在项目根目录创建一个文本文件test.txt

创建write2()方法 

@Test
public void write2() throws Exception {
    // 创建配置对象
    Configuration conf = new Configuration();
    // 设置数据节点主机名属性（不写入，会报错）
    conf.set("dfs.client.use.datanode.hostname", "true");
    // 定义uri字符串
    String uri = "hdfs://master1:9000";
    // 创建文件系统对象
    FileSystem fs = FileSystem.get(new URI(uri), conf);
    // 创建路径对象（指向目录或文件）
    Path path = new Path(uri + "/ied01/exam.txt");
    // 创建文件系统数据输出流对象
    FSDataOutputStream out = fs.create(path);
    // 创建文件字符输入流
    FileReader fr = new FileReader("test.txt");
    // 创建缓冲字符输入流
    BufferedReader br = new BufferedReader(fr);
    // 定义行字符串
    String nextLine ="";
    // 通过循环读取缓冲字符输入流
    while ((nextLine =br.readLine())!=null){
        // 在控制台输出读取的行
        System.out.println(nextLine);
        // 通过文件系统数据字节输出流对象写入指定文件
        out.write(nextLine.getBytes());
    }
    // 关闭输出流
    out.close();
    // 关闭缓冲流
    br.close();
    // 关闭文件输入流
    fr.close();
    //提示
    System.out.println("文件[test.txt]成功写入"+path+"]!");
}

 ·运行write2（），查看结果

 ·创建write3()方法

  1. @Test
  2.     public void write3() throws Exception{
  3.         // 创建配置对象
  4.         Configuration conf = new Configuration();
  5.         // 设置数据节点主机名属性（不写入，会报错）
  6.         conf.set("dfs.client.use.datanode.hostname", "true");
  7.         // 定义uri字符串
  8.         String uri = "hdfs://master1:9000";
  9.         // 创建文件系统对象
  10.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  11.         // 创建路径对象（指向目录或文件）
  12.         Path path = new Path(uri + "/ied01/test.txt");
  13.         // 创建文件系统数据输出流对象
  14.         FSDataOutputStream out = fs.create(path);
  15.         // 创建文件字节输入流对象
  16.         FileInputStream in = new FileInputStream("test.txt");
  17.         // 利用IOUtils类提供的字节拷贝方法来复制文件
  18.         IOUtils.copyBytes(in,out,conf);
  19.         in.close();
  20.         out.close();
  21.         fs.close();
  22.         System.out.println("文件[test.txt]成功写入"+path+"]!");
  23.     }

·注意导包问题

·运行write3()测试方法，查看结果

·查看/ied01/test.txt内容

7、读取HDFS文件

`在net.zhj.hdfs包里创建ReadFileOnHDFS类

(1）读取HDFS文件直接在控制台显示

·准备读取hdfs://master:9000/ied01/test.txt文件

编写read1()方法

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FSDataInputStream;
  5. import org.apache.hadoop.fs.FileSystem;
  6. import org.apache.hadoop.fs.Path;
  7. import org.junit.Test;
  8.  
  9. import java.io.BufferedReader;
  10. import java.io.InputStreamReader;
  11. import java.net.URI;
  12.  
  13. public class ReadFileOnHDFS {
  14.     @Test
  15.     public void read1() throws Exception{
  16.         // 创建配置对象
  17.         Configuration conf = new Configuration();
  18.         // 设置数据节点主机名属性（不写入，会报错）
  19.         conf.set("dfs.client.use.datanode.hostname", "true");
  20.         // 定义uri字符串
  21.         String uri = "hdfs://master1:9000";
  22.         // 创建文件系统对象
  23.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  24.         // 创建路径对象（指向目录或文件）
  25.         Path path = new Path(uri + "/ied01/test.txt");
  26.         //创建文件系统数据字节输入流对象
  27.         FSDataInputStream in =fs.open(path);
  28.         // 创建缓冲字符输入流对象，提高读取效率
  29.         BufferedReader br = new BufferedReader(new InputStreamReader(in));
  30.         //定义行字符串
  31.         String nextLine = "";
  32.         //通过循环读取缓冲字符输入流
  33.         while ((nextLine = br.readLine()) != null){
  34.             //在控制台输出内容
  35.             System.out.println(nextLine);
  36.         }
  37.         br.close();
  38.         in.close();
  39.         fs.close();
  40.     }
  41. }

·运行read1()测试方法，查看结果

·其实，我们可以使用IOUtils类来简化代码

  1.  @Test
  2.     public void read1_() throws Exception {
  3.         // 创建配置对象
  4.         Configuration conf = new Configuration();
  5.         // 设置数据节点主机名属性（不写入，会报错）
  6.         conf.set("dfs.client.use.datanode.hostname", "true");
  7.         // 定义uri字符串
  8.         String uri = "hdfs://master1:9000";
  9.         // 创建文件系统对象
  10.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  11.         // 创建路径对象（指向目录或文件）
  12.         Path path = new Path(uri + "/ied01/test.txt");
  13.         //创建文件系统数据字节输入流对象
  14.         FSDataInputStream in = fs.open(path);
  15.         // 读取文件在控制台输出
  16.         IOUtils.copyBytes(in,System.out,4096,false);
  17.         in.close();
  18.         fs.close();
  19.     }

·再运行read1_()测试方法，查看结果

 （2）读取HDFS文件，保存为本地文件

`任务：将/ied01/test.txt下载到项目下download目录里

·创建download目录

 ·创建read2()方法

  1.  @Test
  2.     public void read2() throws Exception {
  3.         // 创建配置对象
  4.         Configuration conf = new Configuration();
  5.         // 设置数据节点主机名属性（不写入，会报错）
  6.         conf.set("dfs.client.use.datanode.hostname", "true");
  7.         // 定义uri字符串
  8.         String uri = "hdfs://master1:9000";
  9.         // 创建文件系统对象
  10.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  11.         // 创建路径对象（指向目录或文件）
  12.         Path path = new Path(uri + "/ied01/test.txt");
  13.         //创建文件系统数据字节输入流对象
  14.         FSDataInputStream in = fs.open(path);
  15.         // 创建文件字节输出流
  16.         FileOutputStream out =new FileOutputStream("download/exam.txt");
  17.         // 读取文件在控制台输出
  18.         IOUtils.copyBytes(in, out, conf);
  19.         in.close();
  20.         out.close();
  21.         fs.close();
  22.         //提示
  23.         System.out.println("文件["+path+"]下载到本地文件[download/exam.txt]");
  24.     }

· 运行read2()测试方法，查看结果

8、重命名目录或文件

·任务：将 /ied01 目录更名为 /lzy01

 ·在net.zhj.hdfs包里创建RenameDirOrFile类

（1）重命名目录

`编写renameDir()方法

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FileSystem;
  5. import org.apache.hadoop.fs.Path;
  6. import org.junit.Test;
  7.  
  8. import java.net.URI;
  9.  
  10. public class RenameDirOrFile {
  11.     @Test
  12.     public void renameDir() throws Exception{
  13.         // 创建配置对象
  14.         Configuration conf = new Configuration();
  15.         // 设置数据节点主机名属性（不写入，会报错）
  16.         conf.set("dfs.client.use.datanode.hostname", "true");
  17.         // 定义uri字符串
  18.         String uri = "hdfs://master1:9000";
  19.         // 创建文件系统对象
  20.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  21.         // 创建原路径对象
  22.         Path sourcePath = new Path("/ied01");
  23.         // 创建目标路径对象
  24.         Path targetPath = new Path("/lzy01");
  25.         // 利用文件系统对象重命名目录
  26.         fs.rename(sourcePath,targetPath);
  27.         fs.close();
  28.         System.out.println("目录"+sourcePath.getName()+"更名为"+targetPath.getName()+"成功！");
  29.  
  30.     }
  31. }

· 运行renameDir()方法，查看结果

 ·利用HDFS集群WebUI界面查看

(2）重命名文件

·任务：将lzy01目录下的hello.txt重命名为hi.txt。

·编写renameFile()方法

  1. @Test
  2.     public void renameFile() throws Exception {
  3.         // 创建配置对象
  4.         Configuration conf = new Configuration();
  5.         // 设置数据节点主机名属性（不写入，会报错）
  6.         conf.set("dfs.client.use.datanode.hostname", "true");
  7.         // 定义uri字符串
  8.         String uri = "hdfs://master1:9000";
  9.         // 创建文件系统对象
  10.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  11.         // 创建原路径对象
  12.         Path sourcePath = new Path("/lzy01/hello.txt");
  13.         // 创建目标路径对象
  14.         Path targetPath = new Path("/lzy01/hi.txt");
  15.         // 利用文件系统对象重命名目录
  16.         fs.rename(sourcePath, targetPath);
  17.         fs.close();
  18.         System.out.println("文件" + sourcePath.getName() + "更名为" + targetPath.getName() + "成功！");
  19.     }

·运行renameFile()测试方法，查看结果

 ·利用HDFS集群WebUI界面查看

9、显示文件列表

·在net.zhj.hdfs包里创建ListHDFSFiles类

（1）显示指定目录下文件全部信息

`任务：显示/lzy01目录下的文件列表

`编写list1()方法

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FileSystem;
  5. import org.apache.hadoop.fs.LocatedFileStatus;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.fs.RemoteIterator;
  8. import org.junit.Test;
  9.  
  10. import java.net.URI;
  11.  
  12. public class ListHDFSFiles {
  13.     @Test
  14.     public void list1() throws Exception{
  15.         // 创建配置对象
  16.         Configuration conf = new Configuration();
  17.         // 设置数据节点主机名属性（不写入，会报错）
  18.         conf.set("dfs.client.use.datanode.hostname", "true");
  19.         // 定义uri字符串
  20.         String uri = "hdfs://master1:9000";
  21.         // 创建文件系统对象
  22.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  23.         // 创建远程迭代器对象，泛型是位置本地文件状态(相当于:hdfs dfs -ls -R /lzy01)
  24.         RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"),true);
  25.         // 遍历远程迭代器
  26.         while (ri.hasNext()){
  27.             System.out.println(ri.next());
  28.         }
  29.     }
  30. }

 运行list1()测试方法，查看结果

 ·上述文件状态对象封装的有关信息，可以通过相应的方法来获取，比如getPath()方法就可以获取路径信息

(2）显示指定目录下文件路径信息

·编写list2()方法

  1. @Test
  2.     public void list2() throws Exception {
  3.         // 创建配置对象
  4.         Configuration conf = new Configuration();
  5.         // 设置数据节点主机名属性（不写入，会报错）
  6.         conf.set("dfs.client.use.datanode.hostname", "true");
  7.         // 定义uri字符串
  8.         String uri = "hdfs://master1:9000";
  9.         // 创建文件系统对象
  10.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  11.         // 创建远程迭代器对象，泛型是位置本地文件状态(相当于:hdfs dfs -ls -R /lzy01)
  12.         RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
  13.         // 遍历远程迭代器
  14.         while (ri.hasNext()) {
  15.             LocatedFileStatus lfs = ri.next();
  16.             System.out.println(lfs.getPath()+" "+lfs.getLen()+"字节");
  17.         }
  18.     }

·运行list2()测试方法，查看结果

10、获取文件块信息

·上传一个大于128MB的文件，比如hadoop-3.3.4.tar.gz，到/lzy01目录

· 在net.zhj.hdfs包里创建GetBlockLocations类

` 编写代码，获取文件块信息

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.BlockLocation;
  5. import org.apache.hadoop.fs.FileSystem;
  6. import org.apache.hadoop.fs.Path;
  7.  
  8. import java.net.URI;
  9. import java.util.Arrays;
  10.  
  11. public class GeiBlockLocations {
  12.     public static void main(String[] args) throws Exception {
  13.         // 创建配置对象
  14.         Configuration conf = new Configuration();
  15.         // 设置数据节点主机名属性（不写入，会报错）
  16.         conf.set("dfs.client.use.datanode.hostname", "true");
  17.         // 定义uri字符串
  18.         String uri = "hdfs://master1:9000";
  19.         // 创建文件系统对象
  20.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  21.         // 创建路径对象，指向文件
  22.         Path path = new Path("/lzy01/hadoop-3.3.4.tar.gz");
  23.         // 获取文件块信息
  24.         BlockLocation[] blks = fs.getFileBlockLocations(path,0,Integer.MAX_VALUE);
  25.         // 遍历块信息
  26.         for (BlockLocation blk : blks) {
  27.             System.out.println(blk);
  28.         }
  29.     }
  30. }

`运行程序，查看结果

由此可见，hadoop-3.3.4.tar.gz被hadoop物理切分成6块，前5块长度均为134217728字节（128MB），第6块长度为24369142字节（23.24MB）。

`利用HDFS集群WebUI界面也可以查看文件分块信息

11、创建目录

`在net.zhj.hdfs包里创建MakeDirOnHDFS类

 `任务：在HDFS上创建/ied01目录

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FileSystem;
  5. import org.apache.hadoop.fs.Path;
  6.  
  7. import java.io.IOException;
  8. import java.net.URI;
  9. import java.net.URISyntaxException;
  10.  
  11. public class MakeDirOnHDFS {
  12.     public static void main(String[] args) throws URISyntaxException, IOException {
  13.         // 创建配置对象
  14.         Configuration conf = new Configuration();
  15.         // 设置数据节点主机名属性（不写入，会报错）
  16.         conf.set("dfs.client.use.datanode.hostname", "true");
  17.         // 定义uri字符串
  18.         String uri = "hdfs://master1:9000";
  19.         // 创建目录系统对象
  20.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  21.         // 创建路径对象，指定路径
  22.         Path path = new Path(uri+"/ied01");
  23.         boolean result = fs.createNewFile(path);
  24.         // 判断目录是否创建成功
  25.         if (result) {
  26.             System.out.println("文件[" + path + "]创建成功！");
  27.         } else {
  28.             System.out.println("文件[" + path + "]创建失败！");
  29.         }
  30.     }
  31.  
  32. }

`运行程序，查看结果

 `利用HDFS集群WebUI界面查看

12、判断目录是否存在

`在net.zhj.hdfs包里创建DirExistsOrNot类

 `任务：判断HDFS上/ied01目录是否存在

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FileSystem;
  5. import org.apache.hadoop.fs.Path;
  6.  
  7. import java.net.URI;
  8.  
  9. public class DirExistsOrNot {
  10.     public static void main(String[] args) throws Exception {
  11.         Configuration conf = new Configuration();
  12.         conf.set("dfs.client.use.datanode.hostname", "true");
  13.         String uri = "hdfs://master1:9000";
  14.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  15.         Path path = new Path("/ied01");
  16.         boolean result = fs.exists(path);
  17.         if (result) {
  18.             System.out.println("目录[" + path + "]存在！");
  19.         } else {
  20.             System.out.println("目录[" + path + "]不存在！");
  21.         }
  22.     }
  23. }

` 运行程序，查看结果

13、判断Path指向目录还是文件

·在net.zhj.hdfs包里创建PathToFileOrDir类

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FileSystem;
  5. import org.apache.hadoop.fs.Path;
  6.  
  7. import java.net.URI;
  8.  
  9. /**
  10.  * 功能：判断路径指向目录还是文件
  11.  */
  12. public class PathToFileOrDir {
  13.     public static void main(String[] args) throws Exception {
  14.         // 创建配置对象
  15.         Configuration conf = new Configuration();
  16.         // 设置数据节点主机名属性
  17.         conf.set("dfs.client.use.datanode.hostname", "true");
  18.         // 定义uri字符串
  19.         String uri = "hdfs://master:9000";
  20.         // 创建文件系统对象
  21.         FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
  22.  
  23.         // 创建路径对象，指向目录
  24.         Path path1 = new Path("/ied01");
  25.         if (fs.isDirectory(path1)) {
  26.             System.out.println("[" + path1 + "]指向的是目录！");
  27.         } else {
  28.             System.out.println("[" + path1 + "]指向的是文件！");
  29.         }
  30.  
  31.         // 创建路径对象，指向文件
  32.         Path path2 = new Path("/lzy01/test.txt");
  33.         if (fs.isFile(path2)) {
  34.             System.out.println("[" + path2 + "]指向的是文件！");
  35.         } else {
  36.             System.out.println("[" + path2 + "]指向的是目录！");
  37.         }
  38.     }
  39. }

·运行查看结果

14、删除目录或文件

·在net.zhj.hdfs包里创建DeleteFileOrDir类

（1）删除文件

·任务：删除/lzy01/hi.txt文件

 编写deleteFile()方法

判断是否存在

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FileSystem;
  5. import org.apache.hadoop.fs.Path;
  6. import org.junit.Test;
  7.  
  8. import java.net.URI;
  9.  
  10. public class DeleteFileOrDir {
  11.     @Test
  12.     public void deleteFile() throws Exception{
  13.         Configuration conf = new Configuration();
  14.         conf.set("dfs.client.use.datanode.hostname", "true");
  15.         String uri = "hdfs://master1:9000";
  16.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  17.         //创建路径对象（指向文件）
  18.         Path path = new Path(uri+"/lzy01/hi.txt");
  19.         // 判断指定对象是否存在
  20.         if (fs.exists(path)) {
  21.             boolean result = fs.delete(path, true);
  22.             if (result) {
  23.                 System.out.println("文件[" + path + "]删除成功！");
  24.             } else {
  25.                 System.out.println("文件[" + path + "]删除失败！");
  26.             }
  27.         }else {
  28.             System.out.println("文件"+path+"不存在!");
  29.         }
  30.     }
  31. }

 `运行deleteFile()测试方法，查看结果

 ·如果文件不存在

`利用HDFS集群WebUI界面查看

（2）删除目录

·任务：删除/lzy01目录

·编写deleteDir()方法

  1. package net.zhj.hdfs;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.FileSystem;
  5. import org.apache.hadoop.fs.Path;
  6. import org.junit.Test;
  7.  
  8. import java.net.URI;
  9.  
  10. public class DeleteFileOrDir {
  11.     @Test
  12.     public void deleteFile() throws Exception{
  13.         Configuration conf = new Configuration();
  14.         conf.set("dfs.client.use.datanode.hostname", "true");
  15.         String uri = "hdfs://master1:9000";
  16.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  17.         //创建路径对象（指向目录）
  18.         Path path = new Path(uri+"/lzy01");
  19.         // 判断指定对象是否存在
  20.         if (fs.exists(path)) {
  21.             boolean result = fs.delete(path, true);
  22.             if (result) {
  23.                 System.out.println("目录[" + path + "]删除成功！");
  24.             } else {
  25.                 System.out.println("目录[" + path + "]删除失败！");
  26.             }
  27.         }else {
  28.             System.out.println("目录"+path+"不存在!");
  29.         }
  30.     }
  31. }

 ·运行查看结果

·再次运行

（3）删除目录或文件

·进行三个层面的判断：判断类型（目录或文件）、判断是否存在、判断删除是否成功。

·任务：删除/ied02目录下的hello.txt

 `编写delete()方法

  1.  @Test
  2.     public void delete() throws Exception{
  3.         Configuration conf = new Configuration();
  4.         conf.set("dfs.client.use.datanode.hostname", "true");
  5.         String uri = "hdfs://master1:9000";
  6.         FileSystem fs = FileSystem.get(new URI(uri), conf);
  7.         // 定义随机对象
  8.         Random random =new Random();
  9.         // 产生随机整数-[0,1]
  10.         int choice = random.nextInt(100)%2;
  11.         // 定义路径字符串
  12.         String[] strPath = {"/ied02/hello.txt","/lzy01"};
  13.         // 创建路径对象（指向目录或文件）
  14.         Path path = new Path(uri+strPath[choice]);
  15.         // 判断类型（文件或目录）
  16.         String type = "";
  17.         if (fs.isDirectory(path)){
  18.             type="目录";
  19.         }else {
  20.             type="文件";
  21.         }
  22.         // 判断是否存在
  23.         if (fs.exists(path)){
  24.             // 删除路径对象指向的目录或文件
  25.             boolean result = fs.delete(path,true);
  26.             // 判断是否删除成功
  27.             if (result){
  28.                 System.out.println(type+"["+path+"]"+"删除成功");
  29.             }else {
  30.                 System.out.println("删除失败！");
  31.             }
  32.         }else {
  33.             System.out.println(type+"["+path+"]"+"不存在！");
  34.         }
  35.     }

 `运行delete()测试方法，查看结果

 

·再次运行

 ·再次运行

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/530177
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号