Hadoop文件上传的步骤_hdfs 上传文件

Hadoop文件上传的步骤

目录

Hadoop文件上传的步骤

1.作账本

1）edits账本信息：

2)合并后的账本fsimage信息

编码和解码

1）编码（Encoding）：

2）解码（Decoding）：

2.namenode返回一个block编号 开始写数据

3.写完数据 关闭

4.账本的滚动

5.总结

1）Edits（编辑日志）：

2） Fsimage（文件系统镜像）：

---

1.作账本

当我们上传文件时 首先 namenode接收来自客户端的命令 文件信息被记录到账本上

1）edits账本信息：

当账本数量足够大时 为了防止和避免存储不下 所以需要合并一下 合并后的账本：

我们如果直接打开这些账本 看到的都是一群编码 所以 我们要解码查看

hdfs oev fsimage -o b.xml -p XML -i 账本名称

我们打开解码后的账本可以看到 里面记录着文件的信息

上面我们看的是edits账本 下面我们看一下

2)合并后的账本fsimage信息

fsimage账本是以inode为单位的

编码和解码

编码和解码是在计算机科学和信息技术领域中常见的概念，它们用于表示和转换数据的过程。

1）编码（Encoding）：

编码是将数据从一种形式转换为另一种形式的过程。在计算机中，编码通常指的是将数据转换为二进制形式，以便计算机能够理解和处理。编码可以是将文本、图像、音频或其他类型的数据转换为计算机能够识别和处理的二进制数据流。常见的编码方式包括 ASCII、Unicode、UTF-8 等。不同的编码方式有不同的规则和字符集，用于表示不同的字符和符号。

2）解码（Decoding）：

解码是编码的反向过程，它将经过编码的数据重新转换为原始的数据形式。在计算机中，解码将二进制数据转换回原始的文本、图像、音频或其他类型的数据。解码过程需要使用相应的解码算法和字符集，以确保正确地将二进制数据转换回原始数据。解码通常是编码的逆操作，可以还原原始数据，使其可读可用。

总的来说，编码和解码是数据在计算机中表示和处理的基本过程，它们允许我们将各种类型的数据转换为计算机能够理解和处理的形式，并且可以在需要时将其还原回原始的形式。

2.namenode返回一个block编号 开始写数据

3.写完数据 关闭

4.账本的滚动

editsprogress进行滚动-edits:要么达到滚动时间（可配置：3600s ）,当editsprogress达到时64M也会滚动，当第一次启动hadoop，1m后，也会滚动。每次滚动，都会产生一个历史账本。

hdfs dfsadmin管理命令

----------------------

         $>hdfs dfsadmin                                       //查看帮助

         $>hdfs dfsadmin    -help rollEdits //查看指定命令的帮助

         $>hdfs dfsadmin -rollEdits             //滚动编辑日志

      

滚动前：  

滚动后

5.总结

在 Hadoop 中，"edits" 和 "fsimage" 是两个重要的组成部分，它们共同构成了文件系统的核心元数据管理系统。

1）Edits（编辑日志）：

   Edits 是 Hadoop 分布式文件系统（HDFS）的一种元数据日志，记录了文件系统中的所有修改操作。每当文件系统执行创建、删除、重命名等操作时，都会在 edits 日志中记录相应的变更信息。这些变更信息以日志条目的形式被追加到 edits 文件中。由于 edits 文件记录了文件系统的所有修改操作，因此它对于文件系统的一致性和恢复非常关键。在 Hadoop 中，edits 文件通常存储在 NameNode 节点的本地磁盘上。

2） Fsimage（文件系统镜像）：

   Fsimage 是 Hadoop 分布式文件系统（HDFS）的另一个元数据文件，它记录了文件系统的整体状态信息。Fsimage 文件包含了文件系统中所有文件和目录的层次结构、权限信息、文件大小、拥有者等元数据信息。与 edits 日志记录文件系统的变更不同，fsimage 文件记录了文件系统的当前状态。为了确保 fsimage 文件与 edits 日志的一致性，Hadoop 使用了一种叫做 Checkpoint 的机制，定期将 fsimage 文件和 edits 日志合并，生成新的 fsimage 文件，并且清空 edits 日志，以便继续记录新的修改操作。

综上所述，"edits" 和 "fsimage" 在 Hadoop 中扮演着不同但相辅相成的角色。Edits 记录了文件系统的所有修改操作，确保了文件系统的一致性和恢复性；而 fsimage 则记录了文件系统的当前状态，提供了文件系统的整体视图。通过合理地管理和维护这两个关键组件，Hadoop 文件系统能够实现高效可靠的数据存储和管理。