devbox
weixin_40725706
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Hadoop大数据技术-java操作hdfs_java 操作hdfs

作者：weixin_40725706 | 2024-04-24 16:45:43

赞

踩

java 操作hdfs

一、实验目的：

1、使用java完成hdfs的相关操作

二、实验要求：

1、正确使用java对hdfs进行相关操作，解决以下问题

三、实验设备：

Windows电脑一台、VMware虚拟机、WindTerm终端模拟器、IntelliJ IDEA

四、实验过程及结果：

一、创建文件

1、代码

  1. //创建文件
  2. @Test
  3. public static void testMkdirFile() throws URISyntaxException, IOException, InterruptedException {
  4.     //连接的集群地址
  5.     URI uri = new URI("hdfs://hadoop100:8020");
  6.     //创建一个配置信息
  7.     Configuration configuration = new Configuration();
  8.     //用户
  9.     String user = "hadoop";
  10.     //获取到了客户端对象
  11.     FileSystem fs = FileSystem.get(uri, configuration, user);
  12.     //创建一个文件夹
  13.     fs.mkdirs(new Path("/hadoop/wenjian"));
  14.     //关闭资源
  15.     fs.close();
  16. }

2、结果

二、删除文件

1、代码

  1. //删除文件
  2. @Test
  3. public static void testDeleteFile() throws Exception {
  4.     //连接的集群地址
  5.     URI uri = new URI("hdfs://hadoop100:8020");
  6.     //创建一个配置信息
  7.     Configuration configuration = new Configuration();
  8.     //用户
  9.     String user = "hadoop";
  10.     //获取到了客户端对象
  11.     FileSystem fs = FileSystem.get(uri, configuration, user);
  12.     //删除一个文件，b:代表是否递归,true会删除指定文件夹及内容，false删除指定文件
  13.     fs.delete(new Path("/hadoop/wenjian"), false);
  14.     //关闭资源
  15.     fs.close();
  16. }

2、结果

三、列出根目录下所有文件

1、代码

  1. //列出目录下文件
  2. @Test
  3. public static void testListFile() throws IOException, URISyntaxException, InterruptedException {
  4.     //连接的集群地址
  5.     URI uri = new URI("hdfs://hadoop100:8020");
  6.     //创建一个配置信息
  7.     Configuration configuration = new Configuration();
  8.     //用户
  9.     String user = "hadoop";
  10.     //获取到了客户端对象
  11.     FileSystem fs = FileSystem.get(uri, configuration, user);
  12.     //获取目录状态
  13.     FileStatus[] listStatus = fs.listStatus(new Path("/"));
  14.     for (FileStatus list : listStatus) {//增强for循环遍历listStatus
  15.         System.out.println(list.getPath().getName());
  16.     }
  17.     RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
  18.     //递归列出该目录下所有文件，不包括文件夹，后面的布尔值为是否递归
  19.     while (listFiles.hasNext()) {//如果listfiles里还有东西
  20.         LocatedFileStatus next = listFiles.next();//得到下一个并pop出listFiles
  21.         System.out.println(next.getPath().getName());//输出
  22.     }
  23. }
  24.  
  25. //列出目录下文件信息
  26. @Test
  27. public static void testDetailFile() throws URISyntaxException, IOException, InterruptedException {
  28.     //连接的集群地址
  29.     URI uri = new URI("hdfs://hadoop100:8020");
  30.     //创建一个配置信息
  31.     Configuration configuration = new Configuration();
  32.     //用户
  33.     String user = "hadoop";
  34.     //获取到了客户端对象
  35.     FileSystem fs = FileSystem.get(uri, configuration, user);
  36.     // 获取迭代器对象("/"表示获取全部目录下的文件)
  37.     RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
  38.     while (listFiles.hasNext()) {
  39.         LocatedFileStatus fileStatus = listFiles.next();
  40.         System.out.println("文件权限:" + fileStatus.getPermission());
  41.         System.out.println("文件所有者:" + fileStatus.getOwner());
  42.         System.out.println("文件路径:" + fileStatus.getPath());
  43.         System.out.println("文件内容长度:" + fileStatus.getLen());
  44.         System.out.println("修改时间:" + fileStatus.getModificationTime());
  45.         System.out.println("备份数:" + fileStatus.getReplication());
  46.         System.out.println("文件块大小:" + fileStatus.getBlockSize());
  47.         System.out.println("文件名:" + fileStatus.getPath().getName());
  48.         // 获取该文件块的信息
  49.         BlockLocation[] blockLocations = fileStatus.getBlockLocations();
  50.         for (BlockLocation bl : blockLocations) {
  51.             // 获取DataNodes的主机名
  52.             String[] hosts = bl.getHosts();
  53.             for (String host : hosts) {
  54.                 System.out.println(host);
  55.             }
  56.         }
  57.         System.out.println();
  58.     }
  59. }

2、结果


四、上传文件

1、代码

  1. //上传文件
  2. @Test
  3. public static void testCopyFromLocalFile() throws Exception {
  4.     //连接的集群地址
  5.     URI uri = new URI("hdfs://hadoop100:8020");
  6.     //创建一个配置信息
  7.     Configuration configuration = new Configuration();
  8.     //用户
  9.     String user = "hadoop";
  10.     //获取到了客户端对象
  11.     FileSystem fs = FileSystem.get(uri, configuration, user);
  12.     //上传一个文件
  13.     fs.copyFromLocalFile(new Path("D:/hadoop.txt"), new Path("/hadoop/wenjian"));
  14.     //关闭资源
  15.     fs.close();
  16. }

2、结果

五、下载文件

1、代码

  1. //下载文件
  2. @Test
  3. public static void testCopyToLocalFile() throws Exception {
  4.     //连接的集群地址
  5.     URI uri = new URI("hdfs://hadoop100:8020");
  6.     //创建一个配置信息
  7.     Configuration configuration = new Configuration();
  8.     //用户
  9.     String user = "hadoop";
  10.     //获取到了客户端对象
  11.     FileSystem fs = FileSystem.get(uri, configuration, user);
  12.     //下载一个文件
  13.     fs.copyToLocalFile(new Path("/hadoop/wenjian/hadoop.txt"), new Path("D:/test.txt"));
  14.     //关闭资源
  15.     fs.close();
  16. }

2、结果


六、追加文件

1、代码

  1. //追加文件
  2. @Test
  3. public static void testAppendFile() throws URISyntaxException, IOException, InterruptedException {
  4.         // 相关配置
  5.         Configuration conf = new Configuration();//加载配置文件，将配置文件放在src下
  6.         {
  7.             conf.setBoolean("dfs.support.append", true);
  8.             conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
  9.             conf.setBoolean("dfs.client.block.write.replace-datanode-on-failure.enable", true);
  10.         }
  11.         FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.100"), conf, "hadoop100");//获取文件系统实例
  12.         ObjectMapper objectMapper = new ObjectMapper();
  13.         FSDataOutputStream output = null;
  14.         output = fs.append(new Path("/hadoop/wenjian/hadoop.txt"));
  15. //        MessageHeader listContent = null;
  16. //        System.out.println(listContent.toString());
  17. //        output.write(objectMapper.writeValueAsString(listContent).getBytes("UTF-8"));
  18.         output.write(("\n"+"hello hbase").getBytes("UTF-8"));
  19. //        output.write("\n".getBytes("UTF-8"));//换行
  20.   }

2、结果

运行读文件


七、读文件

1、代码

  1. //读文件
  2. @Test
  3. public static void testReadFile() throws Exception {
  4.     //连接的集群地址
  5.     URI uri = new URI("hdfs://hadoop100:8020");
  6.     //创建一个配置信息
  7.     Configuration configuration = new Configuration();
  8.     //用户
  9.     String user = "hadoop";
  10.     //获取到了客户端对象
  11.     FileSystem fs = FileSystem.get(uri, configuration, user);
  12.     // 创建路径对象（指向目录或文件）
  13.     Path path = new Path("/hadoop/wenjian/hadoop.txt");
  14.     // 创建文件系统数据字节输入流对象
  15.     FSDataInputStream in = fs.open(path);
  16.     // 创建缓冲字符输入流对象，提高读取效率（字节流-->字符流-->缓冲流）
  17.     BufferedReader br = new BufferedReader(new InputStreamReader(in));
  18.     // 定义行字符串
  19.     String nextLine = "";
  20.     // 通过循环读取缓冲字符输入流
  21.     while ((nextLine = br.readLine()) != null) {
  22.         // 在控制台输出读取的行内容
  23.         System.out.println(nextLine);
  24.     }
  25.     // 关闭缓冲字符输入流
  26.     br.close();
  27.     // 关闭文件系统数据字节输入流
  28.     in.close();
  29.     // 关闭文件系统
  30.     fs.close();
  31. }

2、结果

八、完整代码

  1. package edu.sugon;
  2.  
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.*;
  5. import org.apache.htrace.fasterxml.jackson.databind.ObjectMapper;
  6. import org.junit.Test;
  7. import java.io.*;
  8. import java.net.URI;
  9. import java.net.URISyntaxException;
  10.  
  11. public class HDFSOpt {
  12.     //创建文件
  13.     @Test
  14.     public static void testMkdirFile() throws URISyntaxException, IOException, InterruptedException {
  15.         //连接的集群地址
  16.         URI uri = new URI("hdfs://hadoop100:8020");
  17.         //创建一个配置信息
  18.         Configuration configuration = new Configuration();
  19.         //用户
  20.         String user = "hadoop";
  21.         //获取到了客户端对象
  22.         FileSystem fs = FileSystem.get(uri, configuration, user);
  23.         //创建一个文件夹
  24.         fs.mkdirs(new Path("/hadoop/wenjian"));
  25.         //关闭资源
  26.         fs.close();
  27.     }
  28.  
  29.     //删除文件
  30.     @Test
  31.     public static void testDeleteFile() throws Exception {
  32.         //连接的集群地址
  33.         URI uri = new URI("hdfs://hadoop100:8020");
  34.         //创建一个配置信息
  35.         Configuration configuration = new Configuration();
  36.         //用户
  37.         String user = "hadoop";
  38.         //获取到了客户端对象
  39.         FileSystem fs = FileSystem.get(uri, configuration, user);
  40.         //删除一个文件，b:代表是否递归,true会删除指定文件夹及内容，false删除指定文件
  41.         fs.delete(new Path("/hadoop/wenjian"), false);
  42.         //关闭资源
  43.         fs.close();
  44.     }
  45.  
  46.     //列出目录下文件
  47.     @Test
  48.     public static void testListFile() throws IOException, URISyntaxException, InterruptedException {
  49.         //连接的集群地址
  50.         URI uri = new URI("hdfs://hadoop100:8020");
  51.         //创建一个配置信息
  52.         Configuration configuration = new Configuration();
  53.         //用户
  54.         String user = "hadoop";
  55.         //获取到了客户端对象
  56.         FileSystem fs = FileSystem.get(uri, configuration, user);
  57.         //获取目录状态
  58.         FileStatus[] listStatus = fs.listStatus(new Path("/"));
  59.         for (FileStatus list : listStatus) {//增强for循环遍历listStatus
  60.             System.out.println(list.getPath().getName());
  61.         }
  62.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
  63.         //递归列出该目录下所有文件，不包括文件夹，后面的布尔值为是否递归
  64.         while (listFiles.hasNext()) {//如果listfiles里还有东西
  65.             LocatedFileStatus next = listFiles.next();//得到下一个并pop出listFiles
  66.             System.out.println(next.getPath().getName());//输出
  67.         }
  68.     }
  69.  
  70.     //列出目录下文件信息
  71.     @Test
  72.     public static void testDetailFile() throws URISyntaxException, IOException, InterruptedException {
  73.         //连接的集群地址
  74.         URI uri = new URI("hdfs://hadoop100:8020");
  75.         //创建一个配置信息
  76.         Configuration configuration = new Configuration();
  77.         //用户
  78.         String user = "hadoop";
  79.         //获取到了客户端对象
  80.         FileSystem fs = FileSystem.get(uri, configuration, user);
  81.         // 获取迭代器对象("/"表示获取全部目录下的文件)
  82.         RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
  83.         while (listFiles.hasNext()) {
  84.             LocatedFileStatus fileStatus = listFiles.next();
  85.             System.out.println("文件权限:" + fileStatus.getPermission());
  86.             System.out.println("文件所有者:" + fileStatus.getOwner());
  87.             System.out.println("文件路径:" + fileStatus.getPath());
  88.             System.out.println("文件内容长度:" + fileStatus.getLen());
  89.             System.out.println("修改时间:" + fileStatus.getModificationTime());
  90.             System.out.println("备份数:" + fileStatus.getReplication());
  91.             System.out.println("文件块大小:" + fileStatus.getBlockSize());
  92.             System.out.println("文件名:" + fileStatus.getPath().getName());
  93.             // 获取该文件块的信息
  94.             BlockLocation[] blockLocations = fileStatus.getBlockLocations();
  95.             for (BlockLocation bl : blockLocations) {
  96.                 // 获取DataNodes的主机名
  97.                 String[] hosts = bl.getHosts();
  98.                 for (String host : hosts) {
  99.                     System.out.println(host);
  100.                 }
  101.             }
  102.             System.out.println();
  103.         }
  104.     }
  105.     
  106.     //上传文件
  107.     @Test
  108.     public static void testCopyFromLocalFile() throws Exception {
  109.         //连接的集群地址
  110.         URI uri = new URI("hdfs://hadoop100:8020");
  111.         //创建一个配置信息
  112.         Configuration configuration = new Configuration();
  113.         //用户
  114.         String user = "hadoop";
  115.         //获取到了客户端对象
  116.         FileSystem fs = FileSystem.get(uri, configuration, user);
  117.         //上传一个文件
  118.         fs.copyFromLocalFile(new Path("D:/hadoop.txt"), new Path("/hadoop/wenjian"));
  119.         //关闭资源
  120.         fs.close();
  121.     }
  122.  
  123.     //下载文件
  124.     @Test
  125.     public static void testCopyToLocalFile() throws Exception {
  126.         //连接的集群地址
  127.         URI uri = new URI("hdfs://hadoop100:8020");
  128.         //创建一个配置信息
  129.         Configuration configuration = new Configuration();
  130.         //用户
  131.         String user = "hadoop";
  132.         //获取到了客户端对象
  133.         FileSystem fs = FileSystem.get(uri, configuration, user);
  134.         //下载一个文件
  135.         fs.copyToLocalFile(new Path("/hadoop/wenjian/hadoop.txt"), new Path("D:/test.txt"));
  136.         //关闭资源
  137.         fs.close();
  138.     }
  139.  
  140.     //读文件
  141.     @Test
  142.     public static void testReadFile() throws Exception {
  143.         //连接的集群地址
  144.         URI uri = new URI("hdfs://hadoop100:8020");
  145.         //创建一个配置信息
  146.         Configuration configuration = new Configuration();
  147.         //用户
  148.         String user = "hadoop";
  149.         //获取到了客户端对象
  150.         FileSystem fs = FileSystem.get(uri, configuration, user);
  151.         // 创建路径对象（指向目录或文件）
  152.         Path path = new Path("/hadoop/wenjian/hadoop.txt");
  153.         // 创建文件系统数据字节输入流对象
  154.         FSDataInputStream in = fs.open(path);
  155.         // 创建缓冲字符输入流对象，提高读取效率（字节流-->字符流-->缓冲流）
  156.         BufferedReader br = new BufferedReader(new InputStreamReader(in));
  157.         // 定义行字符串
  158.         String nextLine = "";
  159.         // 通过循环读取缓冲字符输入流
  160.         while ((nextLine = br.readLine()) != null) {
  161.             // 在控制台输出读取的行内容
  162.             System.out.println(nextLine);
  163.         }
  164.         // 关闭缓冲字符输入流
  165.         br.close();
  166.         // 关闭文件系统数据字节输入流
  167.         in.close();
  168.         // 关闭文件系统
  169.         fs.close();
  170.     }
  171.  
  172.     //追加文件
  173.     @Test
  174.     public static void testAppendFile() throws URISyntaxException, IOException, InterruptedException {
  175.         // 相关配置
  176.         Configuration conf = new Configuration();//加载配置文件，将配置文件放在src下
  177.         {
  178.             conf.setBoolean("dfs.support.append", true);
  179.             conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
  180.             conf.setBoolean("dfs.client.block.write.replace-datanode-on-failure.enable", true);
  181.         }
  182.         FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.100"), conf, "hadoop100");//获取文件系统实例
  183.         ObjectMapper objectMapper = new ObjectMapper();
  184.         FSDataOutputStream output = null;
  185.         output = fs.append(new Path("/hadoop/wenjian/hadoop.txt"));
  186. //        MessageHeader listContent = null;
  187. //        System.out.println(listContent.toString());
  188. //        output.write(objectMapper.writeValueAsString(listContent).getBytes("UTF-8"));
  189.         output.write(("\n"+"hello hbase").getBytes("UTF-8"));
  190. //        output.write("\n".getBytes("UTF-8"));//换行
  191.     }
  192.  
  193.     public static void main( String[] args ) throws Exception {
  194.         //创建文件
  195. //        testMkdirFile();
  196.         //删除文件
  197. //        testDeleteFile();
  198.         //列出目录下文件
  199. //        testListFile();
  200.         //列出目录下文件信息
  201. //        testDetailFile();
  202.         //上传文件
  203. //        testCopyFromLocalFile();
  204.         //下载文件
  205. //        testCopyToLocalFile();
  206.         //读文件
  207.         testReadFile();
  208.         //追加文件
  209. //        testAppendFile();
  210.     }
  211. }

五、实验心得：

该实验通过使用JavaApi对hdfs中的文件进行了创建、删除、上传、下载、读取、追加以及列出目录下的文件的基本操作，使我们对其有了进一步的了解。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/480510
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号