HDFS常用操作_hdfs操作

1.HDFS简介

主要解决大数据中海量存储的问题

产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。比如windows磁盘一般都是NFTS文件系统

HDFS定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目
录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务
器有各自的角色。
HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭
之后就不需要改变

1.1 优点

适合处理大数据

• 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据
• 文件规模：能够处理百万规模以上的文件数量，数量相当之

可构建在廉价机器上，通过多副本机制，提高可靠性。

1.2 缺点

1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

2）无法高效的对大量小文件进行存储。

➢ 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；

➢ 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计

3）不支持并发写入、文件随机修改。
➢ 一个文件只能有一个写，不允许多个线程同时写；
➢ 仅支持数据append（追加），不支持文件的随机修改。

1.3 组成架构

1）NameNode（nn）：就是Master，它是一个主管、管理者。
（1）管理HDFS的名称空间；
（2）配置副本策略；
（3）管理数据块（Block）映射信息；
（4）处理客户端读写请求。
2）DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
（1）存储实际的数据块；
（2）执行数据块的读/写操作。

3）Client：就是客户端。
（1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；
（2）与NameNode交互，获取文件的位置信息；
（3）与DataNode交互，读取或者写入数据；
（4）Client提供一些命令来管理HDFS，比如NameNode格式化；
（5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；
4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不
能马上替换NameNode并提供服务。
（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；
（2）在紧急情况下，可辅助恢复NameNode

1.4 HDFS文件块大小（面试重点）

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

思考：为什么块的大小不能设置太小，也不能设置太大？

（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置

（2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开
始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速

2.HDFS的shell操作(开发重点)

hadoop fs 具体命令 或hdfs dfs 具体命令

使用命令前先开启集群

1.-help：输出这个命令参数

hadoop fs -help rm

2.创建/sanguo 文件夹

hadoop fs -mkdir /sanguo

上传

1.-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

hadoop fs -copyFromLocal weiguo.txt /sanguo

2.-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

hadoop fs -copyFromLocal weiguo.txt /sanguo

3.-put：等同于 copyFromLocal，生产环境更习惯用 put

hadoop fs -put ./wuguo.txt /sanguo

4.appendToFile：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

下载

1）-copyToLocal：从 HDFS 拷贝到本地

hadoop fs -copyToLocal /sanguo/shuguo.txt ./

2）-get：等同于 copyToLocal，生产环境更习惯用 get

hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

HDFS 直接操作

1. -ls: 显示目录信息

2. -cat：显示文件内容

3）-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

hadoop fs -chmod 666 /sanguo/shuguo.txt

hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt

4）-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

6）-mv：在 HDFS 目录中移动文件

7）-tail：显示一个文件的末尾 1kb 的数据

hadoop fs -tail /jinguo/shuguo.txt

8）-rm：删除文件或文

9）-rm -r：递归删除目录及目录里面内容

hadoop fs -rm -r /sanguo

10）-du 统计文件夹的大小

hadoop fs -du -s -h /jinguo

结果：27 81 /jinguo

说明：27 表示文件大小；81 表示 27*3 个副本；/jinguo 表示查看的目录

11）-setrep：设置 HDFS 中文件的副本

hadoop fs -setrep 10 /jinguo/shuguo.txt

这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得
看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10
台时，副本数才能达到 10

3.HDFS的API操作

3.1 准备

客户端环境准备:

a. Hadoop版本：2.7.2（hadoop-2.7.2.tar.gz）；
b. 搭建在Centos7上，非Docker上；
c. 客户端为Win10系统，JDK以及Maven已经安装好；

此电脑-右键属性-高级-环境变量

注意：如果环境变量不起作用，可以重启电脑

验证 Hadoop 环境变量是否正常。双击 winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。、

依赖

<dependencies>
 <dependency>
 <groupId>org.apache.hadoop</groupId>
 <artifactId>hadoop-client</artifactId>
 <version>客户端版本</version>
 </dependency>
 <dependency>
 <groupId>junit</groupId>
 <artifactId>junit</artifactId>
 <version>4.12</version>
 </dependency>
 <dependency>
 <groupId>org.slf4j</groupId>
 <artifactId>slf4j-log4j12</artifactId>
 <version>1.7.30</version>
 </dependency>
</dependencies>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

在resources下创建一个log4j.properties,控制打印日志

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
1
2
3
4
5
6
7
8

3.2 代码

常用套路：

• 获取一个客户端对象
• 执行相关的操作命令
• 关闭资源

源码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.util.Arrays;

public class HDFS_TEST {
    public static final String HDFS_PATH = "hdfs://master:8020";
    FileSystem fileSystem = null;
    Configuration configuration = null;
    /**
     * 初始化
     * @throws Exception
     */
    @Before
    public void setUp() throws Exception {
        System.out.println("HDFSClient - setUp");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
    }
    /**
     * 释放资源
     * @throws Exception
     */
    @After
    public void tearDown() throws Exception {
        fileSystem.close();
        configuration = null;
        fileSystem = null;
        System.out.println("HDFSApp - tearDown");
    }
    // 创建目录
    @Test
    public void testmkdir() throws Exception {
        // 2 创建一个文件夹
        fileSystem.mkdirs(new Path("/xiyou/huaguoshan1"));
    }

    // 上传
    /**
     * 参数优先级
     * hdfs-default.xml => hdfs-site.xml=> 在项目资源目录下的配置文件 =》代码里面的配置
     * @throws IOException
     */
    @Test
    public void testPut() throws Exception {
        // 参数解读：参数一：表示删除原数据； 参数二：是否允许覆盖；参数三：原数据路径； 参数四：目的地路径
        fileSystem.copyFromLocalFile(false, true, new Path("D:\\sunwukong.txt"), new Path("hdfs://hadoop102/xiyou/huaguoshan"));
    }
    //创建HDFS文件
    @Test
    public void testPut2() throws IOException {
        FSDataOutputStream fos = fileSystem.create(new Path("/hello.txt"));
        fos.write("hello world".getBytes());
        fos.flush();
        fos.close();
    }

    /**
     * 查看HDFS上的文件内容
     * @throws Exception
     */
    @Test
    public void cat() throws Exception {
        FSDataInputStream in = fileSystem.open(new Path("/hello.txt"));
        IOUtils.copyBytes(in, System.out, 1024);
        in.close();
    }

    // 文件下载
    @Test
    public void testGet() throws IOException {
        // 参数的解读：参数一：原文件是否删除；参数二：原文件路径HDFS； 参数三：目标地址路径Win ; 参数四：
        //fs.copyToLocalFile(true, new Path("hdfs://hadoop102/xiyou/huaguoshan/"), new Path("D:\\"), true);
        fileSystem.copyToLocalFile(false, new Path("hdfs://hadoop102/a.txt"), new Path("D:\\"), false);
    }

    // 删除
    @Test
    public void testRm() throws IOException {

        // 参数解读：参数1：要删除的路径； 参数2 ： 是否递归删除
        // 删除文件
        //fs.delete(new Path("/jdk-8u212-linux-x64.tar.gz"),false);

        // 删除空目录
        //fs.delete(new Path("/xiyou"), false);

        // 删除非空目录
        fileSystem.delete(new Path("/jinguo"), true);
    }

    // 文件的更名和移动
    @Test
    public void testmv() throws IOException {
        // 参数解读：参数1 ：原文件路径； 参数2 ：目标文件路径
        // 对文件名称的修改
        //fs.rename(new Path("/input/word.txt"), new Path("/input/ss.txt"));
        // 文件的移动和更名
        //fs.rename(new Path("/input/ss.txt"),new Path("/cls.txt"));
        // 目录更名
        fileSystem.rename(new Path("/input"), new Path("/output"));

    }
    /**
     * 查看某个目录下的所有文件
     * @throws Exception
     */
    @Test
    public void listFiles() throws Exception {
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/"));
        System.out.println("文件夹/文件" + "\t" + "副本数" + "\t" + "长度" + "\t\t" + "路径");
        for(FileStatus fileStatus : fileStatuses) {
            String isDir = fileStatus.isDirectory() ? "文件夹" : "文件";
            short replication = fileStatus.getReplication();
            long len = fileStatus.getLen();
            String path = fileStatus.getPath().toString();
            System.out.println(isDir + "\t\t" + replication + "\t\t" + len + "\t\t" + path);
        }
    }

    // 获取文件详细信息
    @Test
    public void fileDetail() throws IOException {

        // 获取所有文件信息
        RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new Path("/"), true);
        // 遍历文件
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println("==========" + fileStatus.getPath() + "=========");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());
            // 获取块信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));

        }
    }

    // 判断是文件夹还是文件
    @Test
    public void testFile() throws IOException {

        FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));

        for (FileStatus status : listStatus) {

            if (status.isFile()) {
                System.out.println("文件：" + status.getPath().getName());
            } else {
                System.out.println("目录：" + status.getPath().getName());
            }
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167

注意点

• 导包记得导org.apache.hadoop下的
• @Before、@After`test开始与结束需要执行的代码
• 用户名注意fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
• 端口号修改public static final String HDFS_PATH = "hdfs://master:8020";