devbox
Gausst松鼠会
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Hadoop学习总结（使用Java API操作HDFS）_hdfs文件系统 java api操作

作者：Gausst松鼠会 | 2024-04-24 16:41:14

赞

踩

hdfs文件系统 java api操作

      使用Java API操作HDFS，是在安装和配置Maven、IDEA中配置Maven成功情况下进行的，如果Maven安装和配置不完全将不能进行Java API操作HDFS。

      由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

      可以使用单元测试法操作HDFS。这里不使用单元测试法。

一、创建HDFS_CRUD.java文件

二、初始化客户端对象

      通过 main() 方法调用进行HDFS增、删、改、查

  1. public class HDFS_CRUD {
  2.     public static void main(String[] args) throws IOException {
  3.         // 初始化客户端对象
  4.         //构造一个配置对象，设置一个参数：访问的 HDFS 的 URL
  5.         Configuration conf = new Configuration();
  6.         //这里指定使用的是 HDFS
  7.         conf.set("fs.defaultFS", "hdfs://hadoop00:9000");
  8.         //通过如下的方式进行客户端身份的设置
  9.         System.setProperty("HADOOP_USER_NAME", "root");
  10.         //通过 FileSystem 的静态方法获取文件系统客户端对象
  11.         fs = FileSystem.get(conf);  //抛出异常
  12.         System.out.println("hdfs连接成功");
  13.     }
  14.  
  15. }

三、本地上传文件到HDFS

static FileSystem fs = null;

      声明了一个静态的FileSystem对象fs，并将其初始化为null。FileSystem是Java中用于操作Hadoop分布式文件系统(HDFS)的类。通过这个对象，可以执行一些与HDFS相关的操作，如创建文件、删除文件、读取文件等。在这段代码中，fs被声明为静态的，意味着它可以在整个类中被共享和访问。初始值为null，可能是因为在代码的其他部分会对其进行初始化。

      下面对上传功能进行编译

  1. // 完成上传功能
  2.     public static void upload(String path_str,String path_str1) throws IOException {
  3.         //上传文件到HDFS
  4.         //path_str本地文件路径  path_str1是上传到HDFS文件路径
  5.         fs.copyFromLocalFile(new Path(path_str),new Path(path_str1));
  6.         // 关闭资源
  7.         fs.close();
  8.         System.out.println("文件上传成功");
  9.     }
  1. //main()方法中调用
  2.         upload("D:/大数据/word.txt","/input");  //上传

四、从HDFS下载文件到本地

  1. // 完成下载文件
  2.     public static void downloal(String path_str,String path_str1) throws IOException {
  3.         //从 HDFS 下载文件到本地
  4.         //path_str是HDFS文件路径  path_str1本地文件路径
  5.         fs.copyToLocalFile(new Path(path_str),new Path(path_str1));
  6.         // 关闭资源
  7.         fs.close();
  8.         System.out.println("文件下载成功");
  9.     }
  10. ​
  1. //main()方法中调用
  2.         downloal("/data.txt","D:/大数据/文件");  //下载

五、创建目录

  1.     // 创建目录
  2.     public static void mkdir(String path_str) throws IOException {
  3.         //path_str所要创建目录路径
  4.         fs.mkdirs(new Path(path_str));
  5.         // 关闭资源
  6.         fs.close();
  7.         System.out.println("创建目录成功");
  8.     }
  1.         //main()方法中调用
  2.         mkdir("/input");  //创建目录

六、重命名文件或文件夹

  1.     // 重命名文件夹
  2.     public static void rename(String old_name,String new_path) throws IOException {
  3.         //old_name原文件名路径  //new_path新文件名路径
  4.         fs.rename(new Path(old_name),new Path(new_path));
  5.         fs.close();
  6.         System.out.println("重命名文件夹成功");
  7.     }
  1.     //main()方法中调用
  2.     rename("/aa","/aa2");  //重命名文件夹

七、删除文件

  1.     // 删除文件 ,如果是非空文件夹,参数2必须给值true
  2.     public static void delete(String path_str) throws IOException {
  3.         //ture表示递归删除 可以用来删除目录 rm -rf
  4.         //false表示非递归删除
  5.         fs.delete(new Path(path_str),true);
  6.         // 关闭资源
  7.         fs.close();
  8.         System.out.println("删除文件夹成功");
  9.     }
  1.         //main()方法中调用
  2.         delete("/aa2");  //删除文件

八、查看文件信息

1、查看文件信息

  1.     // 查看文件信息
  2.     public static void  listFiles(String path_str) throws IOException {
  3.         //获取迭代器对象
  4.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path(path_str),true);
  5.         //遍历
  6.         while (listFiles.hasNext()){
  7.             LocatedFileStatus fileStatus = listFiles.next();
  8.             //打印当前文件名
  9.             System.out.println(fileStatus.getPath().getName());
  10.             //打印当前文件块大小
  11.             System.out.println(fileStatus.getBlockLocations());
  12.             //打印当前文件权限
  13.             System.out.println(fileStatus.getPermission());
  14.             //打印当前文件内容长度
  15.             System.out.println(fileStatus.getLen());
  16.             //获取该文件块信息(包含长度、数据块、datanode的信息)
  17. //            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
  18. //            for (BlockLocation bl : blockLocations){
  19. //                System.out.println("block-length:" + bl.getLength()+"--"+"block-offset:"+bl.getOffset());
  20. //                String[] hosts = bl.getHosts();
  21. //                for (String host : hosts){
  22. //                    System.out.println(host);
  23. //                }
  24. //            }
  25.         }
  26.         System.out.println("--------分割线---------");
  27.         fs.close();
  28.     }
  1.         //main()方法中调用
  2.         listFiles("/data.txt");  //查看文件信息

2、统计目录下所有文件(包括子目录)

  1.     // 1、统计目录下所有文件(包括子目录)
  2.     // 1、统计某个路径(由main方法决定哪个路径),下所有的文件数里,例如：输出：该路径下共有 3 个文件
  3.     public static void count(String path_str) throws IOException {
  4.         //获取迭代器对象
  5.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path(path_str),true);
  6.         //遍历
  7.         int count = 0;
  8.         while (listFiles.hasNext()) {
  9.             LocatedFileStatus fileStatus = listFiles.next();
  10.             count++;
  11.         }
  12.         System.out.println("路径：【"+ path_str +"】下,文件数量为"+count);
  13.         fs.close();
  14.     }
  1.         //main()方法中调用
  2.         count("/");  //统计

 3、列出某个路径下所有的文件数里

  1.     // 2、列出某个路径(由main方法决定哪个路径),下所有的文件数里,例如：文件1,文"路径：【"+ path_str +"】下,文件有："+件2,....
  2.     public static void fileList(String path_str) throws IOException {
  3.         //获取迭代器对象
  4.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path(path_str),true);
  5.         String res = "";
  6.         //遍历
  7.         while (listFiles.hasNext()) {
  8.             LocatedFileStatus fileStatus = listFiles.next();
  9.             res += fileStatus.getPath().getName() + ", ";
  10.         }
  11.         if (res.equals("")){
  12.             res = "没有文件";
  13.         }else {
  14.             res = res.substring(0,res.length() - 2);
  15.         }
  16.         System.out.println("路径：【"+ path_str +"】下的文件：" + res);
  17. //        fs.close();
  18.     }
  1.         //main()方法中调用
  2.           fileList("/"); //查看有什么文件
  3.           fileList("/input"); //查看有什么文件

4、查看所有文件

  1. /*    路径【/】下共有 7 子文件
  2.     文件数量：1,文件列表：data.txt
  3.     目录数量：6,文件列表：a, exp, input, output, test, tmp*/
  4.     public static void list(String path) throws IOException {
  5.         FileStatus[] fileStatuses = fs.listStatus(new Path(path));
  6.         String res = "路径【" + path + "】下共有 " + fileStatuses.length + " 子文件";
  7.         int file_num = 0;
  8.         String file_list = "";
  9.         int dir_num = 0;
  10.         String dir_list = "";
  11.         for (FileStatus fileStatus:fileStatuses){
  12.             if (fileStatus.isFile()){
  13.                 file_num ++;
  14.                 file_list += fileStatus.getPath().getName() + ", ";
  15.             }else {
  16.                 dir_num ++;
  17.                 dir_list += fileStatus.getPath().getName() + ", ";
  18.             }
  19.         }
  20.         if (file_num != 0) res += "\n\t文件数量：" + file_num + ",文件列表：" + file_list.substring(0,file_list.length()-2);
  21.         if (dir_num != 0) res += "\n\t目录数量：" + dir_num + ",文件列表：" + dir_list.substring(0,dir_list.length()-2);
  22.         System.out.println(res);
  23.     }
  1.         //main()方法中调用
  2.         list("/"); //查看所有

5、判断是文件还是目录

  1.     // 检查路径是目录还是文件
  2.     public static void mulu(String path_str) throws IOException {
  3.         Path path = new Path(path_str);
  4.         // 判断路径是否存在
  5.         if (fs.exists(path)) {
  6.             // 获取指定路径的详细信息
  7.             FileStatus status = fs.getFileStatus(path);
  8.             if (status.isDirectory()) {
  9.                 System.out.println(path + "这是一个目录");
  10.             } else if (status.isFile()) {
  11.                 System.out.println(path + "这是一个文件");
  12.             } else {
  13.                 System.out.println("这是一个未知类型");
  14.             }
  15.         } else {
  16.             System.out.println("路径不存在");
  17.         }
  18.         //关闭资源
  19.         fs.close();
  20.     }
  1.         //main()方法中调用
  2.         mulu("/exp/word.txt"); //检查路径是目录还是文件

九、源代码

  1. package com.itcast.hdfsdemo;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.*;
  5. import org.apache.hadoop.yarn.webapp.hamlet.Hamlet;
  6. import sun.tracing.dtrace.DTraceProviderFactory;
  7.  
  8. import java.io.IOException;
  9. import java.util.Arrays;
  10.  
  11. public class HDFS_CRUD {
  12.  
  13.     static FileSystem fs = null;
  14.  
  15.     // 完成上传功能
  16.     public static void upload(String path_str,String path_str1) throws IOException {
  17.         //上传文件到HDFS
  18.         //path_str本地文件路径  path_str1是上传到HDFS文件路径
  19.         fs.copyFromLocalFile(new Path(path_str),new Path(path_str1));
  20.         // 关闭资源
  21.         fs.close();
  22.         System.out.println("文件上传成功");
  23.     }
  24.  
  25.     // 完成下载文件
  26.     public static void downloal(String path_str,String path_str1) throws IOException {
  27.         //从 HDFS 下载文件到本地
  28.         //path_str是HDFS文件路径  path_str1本地文件路径
  29.         fs.copyToLocalFile(new Path(path_str),new Path(path_str1));
  30.         // 关闭资源
  31.         fs.close();
  32.         System.out.println("文件下载成功");
  33.     }
  34.  
  35.     // 创建目录
  36.     public static void mkdir(String path_str) throws IOException {
  37.         //path_str所要创建目录路径
  38.         fs.mkdirs(new Path(path_str));
  39.         // 关闭资源
  40.         fs.close();
  41.         System.out.println("创建目录成功");
  42.     }
  43.  
  44.     // 重命名文件夹
  45.     public static void rename(String old_name,String new_path) throws IOException {
  46.         //old_name原文件名路径  //new_path新文件名路径
  47.         fs.rename(new Path(old_name),new Path(new_path));
  48.         // 关闭资源
  49.         fs.close();
  50.         System.out.println("重命名文件夹成功");
  51.     }
  52.     //main()方法中调用
  53. //    rename("/aa","/aa2");  //重命名文件夹
  54.  
  55.     // 删除文件 ,如果是非空文件夹,参数2必须给值true
  56.     public static void delete(String path_str) throws IOException {
  57.         //ture表示递归删除 可以用来删除目录 rm -rf
  58.         //false表示非递归删除
  59.         fs.delete(new Path(path_str),true);
  60.         // 关闭资源
  61.         fs.close();
  62.         System.out.println("删除文件夹成功");
  63.     }
  64.  
  65.     // 查看文件信息
  66.     public static void  listFiles(String path_str) throws IOException {
  67.         //获取迭代器对象
  68.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path(path_str),true);
  69.         //遍历
  70.         while (listFiles.hasNext()){
  71.             LocatedFileStatus fileStatus = listFiles.next();
  72.             //打印当前文件名
  73.             System.out.println(fileStatus.getPath().getName());
  74.             //打印当前文件块大小
  75.             System.out.println(fileStatus.getBlockLocations());
  76.             //打印当前文件权限
  77.             System.out.println(fileStatus.getPermission());
  78.             //打印当前文件内容长度
  79.             System.out.println(fileStatus.getLen());
  80.             //获取该文件块信息(包含长度、数据块、datanode的信息)
  81. //            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
  82. //            for (BlockLocation bl : blockLocations){
  83. //                System.out.println("block-length:" + bl.getLength()+"--"+"block-offset:"+bl.getOffset());
  84. //                String[] hosts = bl.getHosts();
  85. //                for (String host : hosts){
  86. //                    System.out.println(host);
  87. //                }
  88. //            }
  89.         }
  90.         System.out.println("--------分割线---------");
  91.         fs.close();
  92.     }
  93.     //把查看文件信息分解为下面几个方法
  94.     // 1、统计目录下所有文件(包括子目录)
  95.     // 1、统计某个路径(由main方法决定哪个路径),下所有的文件数里,例如：输出：该路径下共有 3 个文件
  96.     public static void count(String path_str) throws IOException {
  97.         //获取迭代器对象
  98.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path(path_str),true);
  99.         //遍历
  100.         int count = 0;
  101.         while (listFiles.hasNext()) {
  102.             LocatedFileStatus fileStatus = listFiles.next();
  103.             count++;
  104.         }
  105.         System.out.println("路径：【"+ path_str +"】下,文件数量为"+count);
  106.         fs.close();
  107.     }
  108.  
  109.     // 2、列出某个路径(由main方法决定哪个路径),下所有的文件数里,例如：文件1,文"路径：【"+ path_str +"】下,文件有："+件2,....
  110.     public static void fileList(String path_str) throws IOException {
  111.         //获取迭代器对象
  112.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path(path_str),true);
  113.         String res = "";
  114.         //遍历
  115.         while (listFiles.hasNext()) {
  116.             LocatedFileStatus fileStatus = listFiles.next();
  117.             res += fileStatus.getPath().getName() + ", ";
  118.         }
  119.         if (res.equals("")){
  120.             res = "没有文件";
  121.         }else {
  122.             res = res.substring(0,res.length() - 2);
  123.         }
  124.         System.out.println("路径：【"+ path_str +"】下的文件：" + res);
  125. //        fs.close();
  126.     }
  127.  
  128. /*    路径【/】下共有 7 子文件
  129.     文件数量：1,文件列表：data.txt
  130.     目录数量：6,文件列表：a, exp, input, output, test, tmp*/
  131.     public static void list(String path) throws IOException {
  132.         FileStatus[] fileStatuses = fs.listStatus(new Path(path));
  133.         String res = "路径【" + path + "】下共有 " + fileStatuses.length + " 子文件";
  134.         int file_num = 0;
  135.         String file_list = "";
  136.         int dir_num = 0;
  137.         String dir_list = "";
  138.         for (FileStatus fileStatus:fileStatuses){
  139.             if (fileStatus.isFile()){
  140.                 file_num ++;
  141.                 file_list += fileStatus.getPath().getName() + ", ";
  142.             }else {
  143.                 dir_num ++;
  144.                 dir_list += fileStatus.getPath().getName() + ", ";
  145.             }
  146.         }
  147.         if (file_num != 0) res += "\n\t文件数量：" + file_num + ",文件列表：" + file_list.substring(0,file_list.length()-2);
  148.         if (dir_num != 0) res += "\n\t目录数量：" + dir_num + ",文件列表：" + dir_list.substring(0,dir_list.length()-2);
  149.         System.out.println(res);
  150.     }
  151.  
  152.     // 检查路径是目录还是文件
  153.     public static void mulu(String path_str) throws IOException {
  154.         Path path = new Path(path_str);
  155.         // 判断路径是否存在
  156.         if (fs.exists(path)) {
  157.             // 获取指定路径的详细信息
  158.             FileStatus status = fs.getFileStatus(path);
  159.             if (status.isDirectory()) {
  160.                 System.out.println(path + "这是一个目录");
  161.             } else if (status.isFile()) {
  162.                 System.out.println(path + "这是一个文件");
  163.             } else {
  164.                 System.out.println("这是一个未知类型");
  165.             }
  166.         } else {
  167.             System.out.println("路径不存在");
  168.         }
  169.         //关闭资源
  170.         fs.close();
  171.     }
  172.  
  173.         //调用
  174.     public static void main(String[] args) throws IOException {
  175.         // 初始化客户端对象
  176.         //构造一个配置对象，设置一个参数：访问的 HDFS 的 URL
  177.         Configuration conf = new Configuration();
  178.         //这里指定使用的是 HDFS
  179.         conf.set("fs.defaultFS","hdfs://hadoop00:9000");
  180.         //通过如下的方式进行客户端身份的设置
  181.         System.setProperty("HADOOP_USER_NAME","root");
  182.         //通过 FileSystem 的静态方法获取文件系统客户端对象
  183.         fs = FileSystem.get(conf);  //抛出异常
  184.         System.out.println("hdfs连接成功");
  185.         
  186.         //main()方法中调用
  187. //        list("/"); //查看所有
  188.         //main()方法中调用
  189. //          fileList("/"); //查看有什么文件
  190. //          fileList("/input"); //查看有什么文件
  191.         //main()方法中调用
  192. //        count("/");  //统计
  193.         //main()方法中调用
  194. //        mulu("/exp/word.txt"); //检查路径是目录还是文件
  195.         //main()方法中调用
  196. //        listFiles("/data.txt");  //查看文件信息
  197.         //main()方法中调用
  198. //        delete("/aa2");  //删除文件
  199.         //main()方法中调用
  200. //        rename("/aa","/aa2");  //重命名文件夹
  201.         //main()方法中调用
  202. //        upload("D:/大数据/word.txt","/input");  //上传
  203.         //main()方法中调用
  204. //        mkdir("/input");  //创建目录
  205.         //main()方法中调用
  206. //        downloal("/data.txt","D:/大数据/文件");  //下载
  207.     }
  208. }

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/480487
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号