Hadoop之hdfs详解_hdfs current 数据是什么样的

作者：小丑西瓜9 | 2024-04-24 23:30:12

踩

hdfs current 数据是什么样的

@TOC@(Scala入门—)

Hadoop之hdfs详解

Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。
在Hadoop中，MapReduce底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件系统上的数据便可以被MapReduce处理。
Hadoop默认使用的分布式文件系统是HDFS（Hadoop Distributed File System）。

HDFS基本组成

HDFS的架构如下图所示：
在这里插入图片描述

hdfs的设计思：

假设有一个超级大的文件10T
服务器多台，每一个3T
超级大的文件如何存储呢？
存储方案：将超级大的文件切分每一个小文件进行存储在不同的节点上

分而治之的思想（block） ，对文件进行分块存储
这个时候需要一个切分标准：
2.5T 合理吗？
切分的数据块太

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/482095