赞
踩
作者:禅与计算机程序设计艺术
及背景介绍 NodeManager(NM)是一个 Hadoop 的组件,作为集群中的单个节点的守护进程运行。其主要职责就是管理执行应用在该节点上的容器,包括分配资源、启动和监控它们。NM 在 Apache Hadoop 2.x 版本中引入,成为 Hadoop 集群的关键组件之一。NM 提供了两种服务:
NM 的设计目标之一就是高可用性。其重要原因是在 Hadoop 集群运行过程中,因为某些节点会发生故障或者意外,导致其上的所有容器都无法正常工作。因此,为了确保系统的高可用性,Yarn 提供了自动重启功能,即当 NM 失效时,Yarn 会自动启动故障节点上的所有容器,使其恢复到正常状态。此外,Yarn 会保证应用程序在重启后可以继续执行,不会出现任何数据丢失或数据损坏的问题。因此,无论是重启故障的 NM 或是新加入的节点,NodeManager 服务都是 Hadoop 集群的重要组成部分。
本文讨论的内容主要聚焦于 Yarn 中的 NodeManager 服务,主要基于 Yarn-2.9.2 版本进行阐述。由于篇幅限制,本文不会详细解释 NodeManager 的内部实现过程,只着重介绍 NodeManager 服务的作用以及如何配置 NodeManager 以提升集群的资源利用率。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。