Hadoop数仓中常用端口详解:(第36天)_hadoop端口列表

前言

在数仓（数据仓库）开发中，不同的组件和服务会使用不同的端口号进行通信。由于数仓的实现可能依赖于多种技术和框架（如Hadoop、Hive、HBase、Spark等），因此涉及的端口号也会有所不同。以下是一些数仓开发中常用端口号及其作用的概述，以及相关的操作指令建议。

常用端口号及其作用

1. Hadoop相关

• 端口号 组件/服务 作用
  8020 NameNode RPC NameNode的远程过程调用（RPC）端口，
  用于处理客户端和DataNode的请求。
• 9000 NameNode HTTP（非高可用） NameNode的HTTP服务端口，
  用于Web界面访问（如HDFS的Web UI）。注意，在高可用配置中，此端口可能不常用。
• 50070 NameNode WebHDFS NameNode的WebHDFS端口，
  通过HTTP协议提供对HDFS的访问。
• 8088 YARN ResourceManager YARN集群的ResourceManager的Web UI端口，
  用于监控和管理集群中的资源和任务。
• 50010 DataNode 数据传输端口
  用于DataNode与NameNode之间、DataNode与客户端之间的数据读写操作。

2. HDFS相关

• 端口号 组件/服务 作用
• 50010 DataNode 数据传输端口
  用于HDFS内部的数据传输，例如DataNode与NameNode之间、DataNode与客户端之间的数据读写操作。
• 50020 DataNode IPC端口
  DataNode的IPC（Inter-Process Communication）端口，用于接受来自NameNode或其他DataNode的命令和状态同步请求。注意，在某些Hadoop版本中，这个端口可能与其他功能合并或更改。
• 50075 DataNode Web UI端口
  DataNode的Web界面端口，通常用于查看DataNode的状态和报告。然而，需要注意的是，这个端口并不总是默认开启的，且其Web界面可能不如NameNode的Web界面那样详细。
  在MapReduce（MR