当前位置:   article > 正文

每个节点都会有一个 NodeManager ,它负责启动和监控自身的容器。如果某个 NodeManager 挂_nodemanager进程的作用

nodemanager进程的作用

作者:禅与计算机程序设计艺术

1.简介

及背景介绍 NodeManager(NM)是一个 Hadoop 的组件,作为集群中的单个节点的守护进程运行。其主要职责就是管理执行应用在该节点上的容器,包括分配资源、启动和监控它们。NM 在 Apache Hadoop 2.x 版本中引入,成为 Hadoop 集群的关键组件之一。NM 提供了两种服务:

  1. Resource Negotiation Service: NM 从 ResourceManager 获取所需资源并将其映射到应用程序容器上。
  2. Application Manger Service: NM 将应用程序提交给它,NM 通过 ApplicationMaster 来启动和管理应用程序的生命周期。

NM 的设计目标之一就是高可用性。其重要原因是在 Hadoop 集群运行过程中,因为某些节点会发生故障或者意外,导致其上的所有容器都无法正常工作。因此,为了确保系统的高可用性,Yarn 提供了自动重启功能,即当 NM 失效时,Yarn 会自动启动故障节点上的所有容器,使其恢复到正常状态。此外,Yarn 会保证应用程序在重启后可以继续执行,不会出现任何数据丢失或数据损坏的问题。因此,无论是重启故障的 NM 或是新加入的节点,NodeManager 服务都是 Hadoop 集群的重要组成部分。

本文讨论的内容主要聚焦于 Yarn 中的 NodeManager 服务,主要基于 Yarn-2.9.2 版本进行阐述。由于篇幅限制,本文不会详细解释 NodeManager 的内部实现过程,只着重介绍 NodeManager 服务的作用以及如何配置 NodeManager 以提升集群的资源利用率。

2.基本概念术语说明

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/煮酒与君饮/article/detail/865841
推荐阅读
相关标签
  

闽ICP备14008679号