面试专区|【32道HDFS高频题整理(附答案背诵版)】_hdfs常考面试题目

简述什么是HDFS，以及HDFS作用 ？

HDFS，即Hadoop Distributed File System，是Hadoop分布式文件系统。它是一个专门为了存储大量数据而设计的文件系统，能够在廉价的商用硬件上提供高吞吐量的数据访问，非常适合那些有大量数据集的应用程序。HDFS的设计目标是处理大文件，它支持的文件尺寸范围很广，可以从几百MB到几十TB。

HDFS的主要作用包括：

1. 存储大规模数据：HDFS能够存储非常大的文件，适用于处理大规模数据集，比如网络日志、卫星图像数据等。

2. 高容错性：HDFS通过将数据分成多个块并在多个服务器之间进行复制来提供高度的容错性。即使某些服务器或硬盘失败，数据仍然可以从其他地方恢复。

3. 高吞吐量的数据访问：HDFS适用于那些需要高吞吐量数据访问的应用，例如大规模数据分析和机器学习任务。

4. 适应廉价硬件：HDFS能够在普通的商用硬件上运行，不需要昂贵的、专门的存储设备。

举个例子，考虑一个互联网公司，它需要存储和处理用户生成的大量日志数据。这些数据包括用户的点击流、搜索历史和其他交互记录。使用HDFS，公司可以将这些大文件分散存储在多个廉价服务器上，确保数据即使在硬件故障时也不会丢失，并且可以快速地对这些数据进行处理和分析。

简述HDFS文件写入和读取流程 ？

HDFS的文件写入和读取流程各自有其独特的步骤和机制。以下是它们的简要说明：

HDFS文件写入流程：

1. 客户端请求：当客户端想要写入一个文件时，它首先向NameNode发起写入请求。

2. 分配数据块：NameNode会将文件分成一个或多个数据块（block），并为每个数据块选择DataNode节点进行存储。它还负责维护文件的元数据，如文件名、权限、数据块的位置等。

3. 写入数据块：客户端接着将数据块按照指定的DataNode顺序写入。数据首先在本地缓存，然后被发送到第一个DataNode，该DataNode再将数据复制到第二个DataNode，依此类推，形成一个pipeline。这个过程称为数据复制。

4. 写入确认：当所有的DataNode都保存了数据块的副本后，它们会向客户端发送确认。客户端在收到所有数据块的确认后，会通知NameNode完成写入过程。

HDFS文件读取流程：

1. 客户端请求：读取文件时，客户端首先向NameNode请求访问文件。

2. 获取数据块信息：NameNode返回文件的数据块列表以及每个数据块在哪些DataNode上的信息。

3. 读取数据块：客户端根据这些信息，直接与存储着数据块的DataNode通信并读取数据。客户端会选择最近的DataNode进行读取，以减少延迟并提高读取速度。

4. 返回数据：DataNode将数据块传输给客户端。如果读取过程中遇到任何问题，如某个DataNode无法响应，客户端会尝试从其他有相同数据块副本的DataNode读取数据。

这两个过程确保了HDFS在分布式环境中高效且可靠地存储和访问大规模数据。在实际应用中，这些过程对用户而言是透明的，用户不需要关心数据具体存储在哪个节点，只需要通过HDFS提供的接口进行读写操作即可。

简述HDFS的存储机制 ？

HDFS（Hadoop Distributed File System）是一个分布式文件系统，它是专为大规模数据存储和处理设计的。其存储机制具有以下几个关键特点：

1. 分布式存储：HDFS将大文件分割成多个小块（block），默认情况下每个块的大小为128MB（在Hadoop 2.x版本之前是64MB）。这些块被存储在集群的不同节点上，从而实现了数据的分布式存储。

2. 冗余备份：为了确保数据的可靠性，HDFS对每个数据块进行多个副本的存储（默认是3个副本）。这些副本分布在不同的节点上。如果某个节点失败，其他节点上的副本可以用于数据恢复。

3. 主从架构：HDFS采用主从架构，其中有一个NameNode（主节点）和多个DataNode（数据节点）。NameNode负责管理文件系统的命名空间，维护文件到数据块的映射以及数据块到DataNode的映射。DataNode则负责存储实际的数据块。

4. 高容错性：由于其冗余存储机制，HDFS能够容忍节点故障。即使某些DataNode宕机，系统仍然能通过副本保证数据的完整性和可用性。

应用场景举例：假设你有一个10GB的视频文件需要存储在HDFS上。这个文件会被自动分割成大约80个大小为128MB的块。这些块随后被存储在集群的不同节点上。如果某个节点失败，HDFS仍然可以通过其他节点上的副本保证你能够访问到这个视频文件的所有数据。

总的来说，HDFS的存储机制通过其分布式、冗余的特点，能够提供高效、可靠的大规模数据存储解决方案。

简述HDFS优缺点，以及使用场景 ？

HDFS（Hadoop Distributed File System）的优缺点以及适用场景如下：

HDFS的优点：

1. 可扩展性：HDFS能够支持数百到数千个节点的集群，存储大量数据。

2. 容错性高：通过在不同节点上存储数据块的副本，HDFS确保了数据的可靠性和容错能力。即使某些节点失败，数据也不会丢失。

3. 适合大数据处理：HDFS非常适合大文件的存储和处理，能够有效处理TB到PB级别的数据集。

4. 高吞吐量：HDFS提供了高数据吞吐量，适合需要大量数据读写操作的应用。

5. 成本效益：它可以在廉价的标准硬件上运行，降低了存储成本。

HDFS的缺点：

1. 低延迟数据访问：HDFS不适用于低延迟数据访问，如实时查询，因为它主要设计用于高吞吐量的数据访问。

2. 小文件问题：HDFS不适合存储大量的小文件，因为每个文件、块和文件系统的元数据都是由NameNode管理的，过多的小文件会消耗NameNode的内存。

3. 并发写入和文件修改：HDFS不支持多个客户端同时写入同一个文件或对文件进行随机修改。文件一旦创建和写入，就不能再被修改，只能追加或重写。

使用场景：

1. 大数据分析：适用于需要分析和处理大量数据的场景，如数据挖掘、机器学习等。

2. 数据仓库：用于构建大型数据仓库，存储历史数据，供以后分析和查询使用。

3. 日志处理：适合存储和分析大型网站或应用程序产生的日志数据。

4. 内容存储和分发：用于存储大量的多媒体内容，如视频、图片等。

总体来说，HDFS非常适合于存储和处理大规模的数据集，特别是在数据量巨大且不需要频繁修改的场景中。

简述HDFS的容错机制 ？

HDFS（Hadoop分布式文件系统）的容错机制主要基于以下几个方面：

1. 数据副本（Replication）: HDFS通过在不同的节点上存储数据的多个副本来实现容错。默认情况下，每个数据块会有三个副本：一个在本地节点，另外两个在不同的节点上。如果一个节点失败，数据仍然可以从其他节点的副本中恢复。

   应用场景示例：假设有一个大型的视频文件被分割成多个数据块，这些块分别存储在不同的节点上。即使其中一个节点因硬件故障而丢失数据，该视频的其他副本仍然可在其他节点上找到，确保了数据的可用性。

2. 心跳信号和健康检查（Heartbeat and Health Check）: 数据节点定期向名称节点发送心跳信号。如果名称节点在一定时间内没有收到某个数据节点的心跳信号，它会认为该节点不可用，并开始在其他节点上重新复制该节点上的数据。

   应用场景示例：在一个电商网站的用户数据存储中，如果存储用户购物车信息的节点突然宕机，HDFS会检测到这个节点的失效并在其他节点上恢复丢失的数据，从而保证用户的购物车信息不会丢失。

3. 安全模式（Safe Mode）: 当HDFS启动时，它会进入安全模式。在此模式下，系统会检查数据块的完整性和副本数量。只有当足够数量的数据块满足副本策略时，文件系统才会转为正常操作模式。

   应用场景示例：在维护期间重启HDFS后，系统会确保所有重要数据在进入正常运行前都是完整并且有足够的副本。

4. 数据块检查和恢复（Block Scanning and Recovery）: 数据节点会定期扫描存储的数据块，检测数据损坏。如果发现损坏的数据块，系统会从副本中恢复。

   应用场景示例：对于存储金融交易记录的HDFS系统，即使某些数据块因为磁盘错误而损坏，系统也可以自动从副本中恢复这些数据，确保交易记录的完整性和准确性。

通过上述机制，HDFS能够提供高度的数据可靠性和容错能力，即使在面临硬件故障和其他系统问题时也能保证数据的安全和可访问性。

HDFS的常见数据格式，列式存储格式和行存储格式异同点，列式存储优点有哪些 ？

关于HDFS的常见数据格式，以及列式存储和行式存储的异同点，我来详细解释一下。

常见数据格式

在HDFS上，常见的数据格式包括：

1. 文本格式（Text）：这是最简单的格式，数据以文本形式存储，通常每行一条记录。

2. 序列化格式（SequenceFile）：这是一种二进制存储格式，可以将键值对序列化存储，适合大批量数据的存取。

3. 列式存储格式（如Parquet, ORC）：这种格式将数据按列而不是按行存储，适用于对特定列的大规模查询。

4. 行式存储格式（如CSV）：这是传统的数据库存储格式，将数据按行存储，每行代表一条记录。

列式存储与行式存储的异同点

相同点

• 目标：两者都旨在高效存储和查询大数据集。
• 兼容性：都可以在HDFS上使用，与大数据生态系统的其他组件兼容。

不同点

1. 存储方式：

   • 列式存储：按列存储数据，每一列的数据紧密排列在一起。
   • 行式存储：按行存储数据，每一行的所有列数据一起存储。

2. 读写性能：

   • 列式存储：优化了读操作，特别是对某几列的查询。
   • 行式存储：通常优化了写操作，适用于频繁更新的场景。

3. 空间效率：

   • 列式存储：由于同一列的数据类型相同，易于压缩，节省存储空间。
   • 行式存储：相对较难压缩，占用更多存储空间。

4. 使用场景：

   • 列式存储：适用于分析和报表，如大数据分析、数据仓库。
   • 行式存储：适用于事务处理，如传统数据库应用。

列式存储的优点

1. 高效的查询性能：特别是对于只需要访问少数几列的查询，不必加载整行数据。

2. 更好的压缩率：由于列中数据类型的一致性，可以应用更高效的压缩算法。

3. 优化的数据存储结构：列式存储结构适合进行数据的分区、索引和向量化查询，从而提高查询效

HDFS如何保证数据不丢失 ？

HDFS（Hadoop Distributed File System）采用了多种机制来确保数据的安全性和不丢失，主要包括以下几点：

1. 数据复制（Replication）

• 副本策略：HDFS通过在多个DataNode上复制数据块来防止数据丢失。默认情况下，每个数据块会有三个副本（一个主副本和两个副本），分布在不同的节点上。
• 跨机架复制：为了进一步提高容错性，这些副本通常会分布在不同的机架上。如果一个机架发生故障，其他机架上的副本可以用来恢复数据。

2. 心跳和健康检查（Heartbeat and Health Check）

• 节点监控：DataNode会定期向NameNode发送心跳信号，表明它是活跃的。如果NameNode在配置的时间间隔内没有收到某个DataNode的心跳，它会认为这个节点已经失败。
• 副本检查和恢复：一旦检测到DataNode失败，NameNode会启动副本恢复过程，确保每个数据块都保持在配置的副本数。

3. 元数据备份（Metadata Backup）

• 持久化存储：NameNode存储有关文件系统的所有元数据，包括文件和目录信息、数据块到DataNode的映射等。这些信息被持久化存储在磁盘上。
• 二次NameNode：作为额外的安全措施，HDFS引入了Secondary NameNode，它定期从NameNode下载其状态，并在系统故障时提供恢复点。

4. 安全模式（Safe Mode）

• 启动时的数据校验：在启动过程中，NameNode进入安全模式，在这个模式下，它会检查数据块的健康状况和副本数量。只有在足够数量的数据块可用时，NameNode才会退出安全模式，开始正常的操作。

5. 数据校验（Data Validation）

• 校验和：HDFS在存储数据时会计算数据的校验和。在读取数据时，会检查这个校验和，以确保数据在传输或存储过程中没有被损坏。

通过这些机制，HDFS能够在面对硬件故障、网络问题和其他常见故障时，保护数据不丢失，确保数据的高可用性和可靠性。

简述HDFS的默认副本数？为什么是这个数量？如果想修改副本数怎么修改 ？

HDFS（Hadoop分布式文件系统）的默认副本数是3。这个数量的选择基于几个考虑：

1. 数据可靠性：有三个副本可以大大降低数据丢失的风险。即使一个节点失败，还有两个副本可以保证数据的安全。

2. 性能与成本的平衡：更多的副本意味着更高的数据安全性，但同时也会带来更高的存储成本和网络带宽需求。三个副本是在保障数据可靠性和系统成本之间的一个较好的平衡点。

3. 故障恢复：在分布式环境中，节点故障是常见的。三个副本确保即使在一个节点失效的情况下，还有两个副本可以用于数据恢复，同时系统也有足够的时间来创建新的副本，防止数据丢失。

如果想修改HDFS中的副本数，可以通过以下步骤进行：

1. 修改hdfs-site.xml配置文件：在HDFS的配置文件hdfs-site.xml中，有一个名为dfs.replication的属性，可以设置全局的默认副本数。修改这个值后，需要重启HDFS使配置生效。

2. 针对单个文件或目录修改副本数：如果只想改变某个特定文件或目录的副本数，而不影响整个系统的默认设置，可以使用HDFS的命令行工具。例如，使用命令hdfs dfs -setrep -w <副本数> <文件/目录路径>来修改特定文件或目录的副本数。

通过这些方式，可以根据具体需求调整HDFS的副本策略，以达到最佳的数据保护和系统性能平衡。

简述HDFS的Block ？

HDFS的Block是其存储机制中的一个核心概念，主要包含以下几个特点：

1. 数据块大小：在HDFS中，文件被分割成一系列的块（Block），这些块是存储数据的基本单位。Hadoop 2.x及更高版本中，默认的块大小是128MB，而在早期版本中是64MB。这个大小是可配置的，可以根据实际需要进行调整。

2. 块的目的：将大文件分割成小块的主要目的是为了优化网络传输和数据处理的效率。这种分割机制使得文件的不同部分可以并行处理，大大提高了数据处理的速度。

3. 存储和处理：每个块分别存储在集群中的不同节点上。这种分布式存储策略既提高了数据存储的可靠性，也提高了处理速度，因为数据可以在多个节点上同时被处理。

4. 块的副本：为了保证数据的可靠性和高可用性，每个数据块通常会有多个副本（默认是3个），分布在不同的DataNode上。这样，即便个别节点出现故障，数据也不会丢失。

5. 故障恢复：如果某个节点宕机，NameNode会检测到这一情况，并指导其他节点上的副本来恢复丢失的数据块，以此保证数据的完整性。

应用场景例子：例如，一个大型企业有一个1TB的数据库文件需要存储在HDFS上。这个文件将被分割成大约8192个128MB的块。这些块会被分布存储在集群的多个节点上，每个块会有3个副本，分布在不同的节点。当进行数据分析时，这些块可以被并行处理，极大提高了数据处理的效率。同时，即使部分节点出现故障，数据也能够通过副本进行恢复，保证数据的安全性和可用性。

HDFS的块默认大小，64M和128M是在哪个版本更换的？怎么修改默认块大小？

HDFS（Hadoop分布式文件系统）的默认数据块大小从64MB更换到128MB发生在Apache Hadoop的2.x版本。在Hadoop 1.x版本中，64MB是默认的数据块大小。随着Hadoop 2.x版本的发布，为了更好地适应大数据处理的需求，提高大规模数据处理的效率，数据块的默认大小被提升到了128MB。

要修改HDFS的默认块大小，可以通过以下步骤进行：

1. 修改hdfs-site.xml配置文件：在Hadoop配置文件hdfs-site.xml中，有一个名为dfs.blocksize的属性，用于设置默认的数据块大小。例如，要将数据块大小设置为256MB，可以在该配置文件中添加或修改这个属性：

   <property>
       <name>dfs.blocksize</name>
       <value>268435456</value> <!-- 256MB in bytes -->
   </property>
   1
   2
   3
   4

2. 重启Hadoop集群：修改配置文件后，需要重启HDFS服务以使这些更改生效。这通常涉及重启NameNode和DataNode。

3. 针对特定文件设置块大小：也可以在上传文件到HDFS时指定特定文件的数据块大小，而不改变全局默认设置。这可以通过Hadoop命令行工具来实现，例如使用-D dfs.blocksize=<大小>选项。

   例如，上传文件时指定数据块大小为256MB：

   hdfs dfs -D dfs.blocksize=268435456 -put localfile /hdfs/path
   1

通过这种方式，可以根据具体的应用场景和数据处理需求，灵活地调整HDFS的数据块大小，优化存储和处理性能。

简述HDFS的block为什么是128M？增大或减小有什么影响 ？

HDFS（Hadoop分布式文件系统）中的数据块（block）大小默认为128MB，这个设置基于以下几个原因：

1. 减少寻址开销：较大的数据块意味着在处理大数据集时，系统需要管理更少的数据块。这可以减少管理数据块的寻址开销，提高系统的处理效率。

2. 优化网络传输：在分布式系统中，数据经常需要在不同节点之间传输。较大的数据块可以减少网络传输次数，提高数据传输的效率。

3. 适合大文件处理：HDFS通常用于存储和处理大型文件，如日志文件、图像数据等。较大的数据块更适合于这种大文件的存储和处理。

增大或减小数据块大小都会对HDFS的性能和适用性产生影响：

• 增大数据块大小：会进一步减少管理的数据块数量，可能提高处理大文件的效率。但是，如果数据块太大，可能会导致数据不均匀地分布在集群中，影响负载均衡。此外，对于小文件，大数据块可能导致存储空间的浪费。

• 减小数据块大小：对于小文件来说，较小的数据块可以提高存储效率，减少空间浪费。但是，这会增加系统管理的数据块数量，增加寻址和管理开销，可能会降低系统的处理效率。

因此，在选择数据块大小时，需要根据实际应用场景和数据特性来权衡，以达到最优的系统性能和存储效率。在HDFS中，可以通过修改配置文件（如hdfs-site.xml中的dfs.blocksize属性）来调整数据块的大小。

简述HDFS HA怎么实现？什么架构 ？

HDFS HA（High Availability）是指在HDFS中保证NameNode高可用性的机制。其实现主要依赖于以下几个关键组件和架构设计：

1. 双NameNode架构：在传统的HDFS架构中，只有一个NameNode，它是一个单点故障（SPOF）。为了解决这个问题，HDFS HA引入了一个备用的NameNode，构成双NameNode架构（通常称为Active NameNode和Standby NameNode）。这两个NameNode在运行时，一般只有一个处于活动状态，另一个处于待命状态。

2. 共享存储系统：为了使Standby NameNode能够在Active NameNode故障时快速接管，两个NameNode需要访问相同的元数据信息。因此，它们通常会连接到一个共享存储系统（如NFS或者HDFS自身），这个系统存储了文件系统的元数据和编辑日志。

3. 自动故障转移：HDFS HA还支持自动故障转移。当Active NameNode发生故障时，系统可以自动或者通过管理员的手动干预，将Standby NameNode切换为Active状态。为了实现这一点，通常会有一个额外的组件（如Zookeeper）来监控NameNode的状态并在需要时进行自动切换。

4. 客户端重定向：在Active NameNode故障转移到Standby NameNode后，客户端和DataNode需要重新定向到新的Active NameNode。这通常通过客户端和DataNode的配置来实现，确保它们能够识别新的Active NameNode并与之通信。

应用场景举例：在一个大型数据处理环境中，任何服务的中断都可能导致重大的业务影响。通过部署HDFS HA，即使主NameNode出现故障，备用的NameNode可以迅速接管，几乎不影响服务的连续性。这对于需要24/7不间断运行的金融服务、电信系统或大型电商平台等场景尤为重要。通过HDFS HA，这些系统能够保证高数据可用性和业务的连续性。

简述HDFS的数据一致性靠什么保证？ ？

HDFS的数据一致性主要依赖以下机制来保证：

1. NameNode的中心化管理：

• 元数据管理：在HDFS中，NameNode负责管理文件系统的命名空间。所有文件和目录的元数据，包括文件的数据块信息、数据块的位置等都保存在NameNode中。这种中心化的管理确保了整个文件系统的一致性。

2. 数据块的复制（Replication）：

• 一致性模型：HDFS采用副本来保证数据的可靠性。一旦数据写入完成，副本就会分散存储在不同的DataNodes上。尽管这种方法不是强一致性模型，但通过足够数量的副本和及时的副本替换策略，HDFS能够提供较高水平的数据一致性和可靠性。

3. 写入和复制的原子性保证：

• 写入操作：在HDFS中，文件一旦创建，其内容就不能被更新，只能被追加或重写。这种方式简化了并发控制，因为写操作在文件级别上是原子的。
• 数据块复制：在复制数据块时，HDFS保证原子性复制，即一个数据块的所有副本在任何时间点上都是相同的。如果复制过程中出现错误，那么不完整的副本会被删除，系统会重新尝试复制直到成功。

4. 客户端的一致性协议：

• 客户端操作：客户端在与HDFS交互时，遵循特定的协议，例如，客户端在完成文件写入之后，需要向NameNode通知，以确保NameNode更新文件的元数据。这样可以保证NameNode的元数据与实际存储的数据保持一致。

5. 定期检查和错误恢复：

• 心跳和健康检查：DataNodes定期向NameNode发送心跳和健康状况报告。NameNode利用这些信息来检查和维护系统的整体一致性。例如，如果某个DataNode失败，NameNode会重新组织数据块的副本。
• 校验和验证：HDFS在存储和传输数据时，会计算数据的校验和。在读取数据时，会验证这些校验和，确保数据的完整性。

通过这些机制，HDFS确保了系统中的数据在正常操作和故障情况下的一致性和可靠性。虽然HDFS不提供像传统数据库那样的强一致性保证，但它的设计和实现确保了在大规模数据处理场景中的有效性和健壮性。

简述HDFS 使用NameNode的好处 ？

HDFS（Hadoop分布式文件系统）使用NameNode的好处主要体现在以下几个方面：

1. 中心化的元数据管理：NameNode在HDFS中负责存储整个文件系统的元数据，包括文件和目录的结构、每个文件的数据块信息及其在DataNode上的位置等。这种中心化的管理使得文件系统的组织和管理变得更加简洁高效。

2. 提高系统的可扩展性：由于实际的数据存储在DataNode上，而NameNode只存储元数据，这样的架构设计使得HDFS可以轻松扩展到处理PB级别甚至更大规模的数据集。

3. 快速的文件访问：用户或应用程序在访问文件时，首先与NameNode交互以获得数据块的位置信息，然后直接从DataNode读取数据。这种方式可以快速定位数据，提高文件访问的效率。

4. 容错和恢复机制：NameNode可以监控DataNode的状态，实现系统的容错。在DataNode发生故障时，NameNode可以指导其它DataNode复制丢失的数据块，保证数据的可靠性。

5. 简化数据管理：NameNode的存在简化了数据的管理和维护。例如，在进行数据备份、系统升级或扩展时，管理员只需要关注NameNode上的元数据，而不是每个节点上存储的实际数据。

6. 支持高效的数据处理：HDFS的设计允许高效的大规模数据处理。例如，在MapReduce等计算框架中，计算可以移动到数据所在的位置，减少网络传输，提高处理速度。

然而，由于NameNode是中心节点，它也成为了系统的一个潜在瓶颈和单点故障。为了解决这个问题，Hadoop社区引入了辅助NameNode和HDFS联邦架构，以及提供了HA（高可用）配置，允许有多个NameNode以提高系统的可靠性和可用性。

HDFS为什么文件要分块进行存储管理？

HDFS（Hadoop Distributed File System）之所以采用文件分块（Block）进行存储管理，主要是基于以下几个原因：

1. 提高系统可靠性和容错性：通过将文件分成多个块，并在不同的DataNode上存储这些块的副本，HDFS可以提高数据的可靠性。即使某些DataNode出现故障，其他节点上的副本仍然可以用于数据恢复。

2. 优化大文件处理：在处理大规模数据集时，将大文件分割成小块可以提高数据处理的效率。这样，可以并行地在多个节点上处理不同的块，从而加速数据处理和分析。

3. 提高网络传输效率：分块存储还有利于网络传输。当处理或传输一个大文件的部分数据时，只需处理或传输相关的几个块，而不是整个文件，这减少了网络传输负担。

4. 易于扩展：分块机制使得HDFS易于扩展。可以简单地通过增加更多的DataNode来扩大存储容量和处理能力，而不需要对现有的数据块进行任何修改。

5. 负载均衡：分块存储还有助于在集群中实现负载均衡。不同的数据块可以分布在不同的节点上，从而均衡各个节点的存储和处理负载。

举例说明：假设有一个非常大的视频文件，大小为1TB。如果不分块存储，那么整个文件只能存储在单个节点上，这会使该节点的存储和处理压力非常大，而且一旦该节点出现问题，整个文件就无法访问。而将文件分成多个块，每个块存储在不同的节点上，不仅可以分散单个节点的压力，而且即使某个节点出现问题，其他节点上的块仍然可用，整个系统的稳定性和可用性都得到了提高。

由于内容太多，更多内容以链接形势给大家，点击进去就是答案了

16. 简述HDFS的mapper和reducer的个数如何确定？reducer的个数依据是什么 ？

17. 简述HDSF通过什么中间组件去存储数据 ？

18. 简述HDFS跨节点怎么进行数据迁移 ？

19. 简述HDFS怎么保证数据安全 ？

20. 简述HDFS中向DataNode写数据失败了怎么办 ？

21. 简述什么是Hadoop2.x HDFS快照 ？

22. 简述HDFS写数据过程，写的过程中有哪些故障，分别会怎么处理 ？

23. 简述NameNode存数据吗 ？

24. 简述HDFS中DataNode怎么存储数据的 ？

25. 简述HDFS写流程中如果DataNode突然宕机了怎么办 ？

26. 简述直接将数据文件上传到HDFS的表目录中，如何在表中查询到该数据 ？

27. 简述NameNode与SecondaryNameNode 的区别与联系 ？

28. 简述ZKFailoverController主要职责 ？

29. 简述Secondary NameNode 了解吗，它的工作机制是怎样的 ？

30. Secondary NameNode 不能恢复 NameNode 的全部数据，那如何保证NameNode 数据存储安全 ？

31. 简述fsimage 和 edit 的区别 ？

32. 简述一个文件只有一行，但是这行有 100G 大小，mr 会不会切分，我们应该怎么解决 ？