Ambari 操作指南 (Ambari Operations) 之三_ambari主机分组

继 (Ambari 操作指南 (Ambari Operations) 之二 :      https://blog.csdn.net/devalone/article/details/80800262 )

 

6 管理配置 (Managing Configurations)

---

可以通过调整配置设置和属性值来优化集群上的 Hadoop 组件的性能。也可以利用 Ambari Web 通过如下方法，来建立和管理配置分组及配置设置的版本：

    • Changing Configuration Settings
    • Manage Host Config Groups
    • Configuring Log Settings
    • Set Service Configuration Versions
    • Download Client Configuration Files



6.1 修改配置设置 (Changing Configuration Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
可以通过每一个服务的 Configs 页面优化服务性能。Configs 页面包含几个选项卡，用于管理配置版本，分组，设置，属性和值。可以调整设置，称为
"Smart Configs" 在宏级别(macro-level) 进行控制，每个服务的内存分配。调整 Smart Configs 要求相关配置的设置修改整个集群范围。Ambari 提示检验
并确认所有建议的修改并重启相关服务。

步骤：
    ①    在 Ambari Web 中，在左侧的服务列表上单击服务名称
    ②    从服务的 Summary 页面，单击 Configs 选项卡，然后利用如下选项卡管理配置设置
        
        利用 Configs tab 管理配置版本和分组
        利用 Settings tab 管理 "Smart Configs", 通过调整绿色的滑动按钮
        利用 Advanced tab 编辑特殊配置属性和值

    ③    单击 Save



6.1.1 调整智能配置设置 (Adjust Smart Config Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
利用 Settings tab 管理 "Smart Configs", 通过调整绿色滑动按钮

步骤：
    ① 在 Settings tab, 单击并拖拽绿色滑动按钮到理想值

    ② 编辑显示为 Override 选项的属性

    ③ 单击 Save



6.1.2 编辑特定属性 (Edit Specific Properties)
-----------------------------------------------------------------------------------------------------------------------------------------
利用每个服务 Configs 页面的 Advanced tab 访问影响该服务性能的属性组

步骤：
    ① 在服务的 Configs 页面，单击 Advanced
    
    ② 在 Configs Advanced 页面，展开类别
    
    ③ 编辑属性值

    ④ 单击 Save


6.1.3 检验并确认配置修改 (Review and Confirm Configuration Changes)
-----------------------------------------------------------------------------------------------------------------------------------------
当修改了一个配置属性值是，Ambari Stack Advisor 捕捉到修改，并建议修改受此修改影响的所有相关的配置属性。修改一个属性，一个 "Smart
Configuration", 以及其他动作，例如添加或删除一个服务、主机或 ZooKeeper server, 或迁移一个 master, 或者启用一个组件的高可用性，所有要求检验
(review)并确认相关配置的修改。例如，如果提升 YARN 的 Minimum Container Size (Memory), Dependent Configurations 列出所有建议的修改，对此必须
检验(review) 并(可选地)接受(accept)。

修改的类型突出显示为如下颜色：

    值修改                ：黄色
    添加的属性             ：绿色
    删除的属性             ：红色

检验并确认配置属性修改

步骤：
    ①    在 Dependent Configurations, 对于每个列出的属性检验摘要信息
    ②    如果这个修改可以接受，继续检验列表中的下一条属性
    ③    如果这个修改不可接受，单击属性前边的蓝色复选框标记
        单击复选框标记会清除复选框，清除复选框的修改是没有确认的，并且也不会发生修改
    ④    检验所有列出的修改之后，单击 OK 以确认所有标记的修改会发生



6.1.4 重启组件 (Restart Components)
-----------------------------------------------------------------------------------------------------------------------------------------
编辑并保存配置修改之后，一个 Restart 指示器会出现在组件旁边要重启以利用更新的配置值

    ①    单击指示的 Components 或 Hosts 链接来查看有关请求重启的细节

    ②    单击 Restart 然后单击适宜的动作


    
6.2 管理主机配置分组 (Manage Host Config Groups)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 初始将所有安装的服务分配集群上所有主机到一个默认的配置分组。例如，使用默认配置部署一个三个节点的集群，HDFS 服务的每个主机都属于一个
具有默认配置设置信息的配置组。

    ● 管理配置分组：
    
    ①    单击服务名称，然后单击 Configs
    
    ②    在 Configs 页面，单击 Manage Config Groups
    
    ● 要创建一个新配置组，重新分配主机，并覆盖主机组件的默认设置，可以利用 Manage Configuration Groups 控件：

    ①    在 Manage Config Groups 中, 单击 Create New Configuration Group 的 + 符号按钮
    ②    命名并描述配置组的名称，然后选择 OK
    
    
    ● 向新的配置组中添加主机
    
    ①    在 Manage Config Groups 中，单击配置组名称
    ②    单击 Add Hosts to selected Configuration Group + 符号按钮
    ③    利用 Select Configuration Group Hosts, 单击 Components, 然后从列表中单击一个组件名称
        
        选取一个组件过滤主机列表，只有所选服务组件存在的主机会列出。要进一步过滤可用主机名称列表，可以利用 Filter 的下拉列表。默认情况系，
        主机列表通过 IP 地址过滤
        
    ④    过滤主机列表之后，单击每个要包含进配置分组主机的复选框
    
    ⑤    单击 OK
    
    ⑥    在 Manage Configuration Groups 中，单击 Save


    ● 编辑配置分组设置

    ①    在 Configs, 单击组名称
    ②    单击一个 Config Group, 展开组件找到允许 Override 的设置
    ③    提供一个默认值，然后单击 Override 或 Save
        配置组强制配置属性允许覆盖，取决于所选服务和组安装的组件
    
    ④    Override 提示选取如下选项之一：
        
        a. 或者单击一个已存在配置组的名称，属性值被第三步提供的值覆盖
        b. 或者创建一个新的配置组，包含默认值，加上被第三步提供的值覆盖的值
        c. 单击 OK.

    ⑤    单击 Save



6.3 配置日志设置 (Configuring Log Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 利用 Log4j properties 属性集控制 Hadoop 集群上运行的每一个服务的日志活动。最初，每个属性的默认值在 <service_name>-log4j template
模板文件中。Log4j 的属性和值限制了日志文件的大小和日志文件备份的数量，每个服务会超过 log4j 模板文件的设置。要访问每个服务默认的 Log4j 设置，
在 Ambari Web 中，浏览到 <Service_name> > Configs > Advanced <service_name>-log4j

    ● 修改一个服务的日志文件大小和备份数量：
    
    ①     编辑 <service_name> backup file size 以及 <service_name> # of backup files 属性值

    ②     单击 Save

    ● 自定义一个服务的 Log4j 设置：
    
    ①    在 <service_name> log4j template 中编辑属性
    ②    复制 log4j 模板文件内容
    ③    浏览到 custom <service_name>log4j 属性组
    ④    将复制到内容粘贴到 custom <service_name>log4j properties, 覆盖掉默认掉内容
    ⑤    单击 Save
    ⑥    提示时，检验并确认建议的配置修改
    ⑦    如果提示，重启受影响的服务
    
    重启服务中的组件会推送显示在 Custom log4j.properites 中的配置属性到每一部运行该服务组件的主机。

    如果自定义了日志属性，定义每个服务怎样的活动记入日志，需要刷新每个服务名称前的指示器。确保显示在 Custom logj4.properties 中的日志属性
    包含自定义信息。
    
    可选地，可以创建配置组来包含自定义日志属性。
    
    
6.4 设置服务配置版本 (Set Service Configuration Versions)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 可以管理配置相关的服务。可以修改配置信息，查看修改历史，比较并恢复修改，以及推送配置变化到集群主机



6.4.1 基本概念 (Basic Concepts)
-----------------------------------------------------------------------------------------------------------------------------------------
理解 Ambari 中服务配置如何组织和存储非常重要。属性分组成配置类型，一系列配置类型组成了一个服务的配置集。

例如， Hadoop Distributed File System (HDFS) 服务包括 hdfs-site, coresite, hdfs-log4j, hadoop-env, and hadoop-policy 配置类型。如果浏览到
Services > HDFS > Configs, 可以编辑这些配置类型的配置属性。

Ambari 在服务级别执行配置版本化。因此，当在一个服务上修改一个配置属性时，Ambari 创建一个服务配置版本。



6.4.2 术语 (Terminology)
-----------------------------------------------------------------------------------------------------------------------------------------
配置属性(configuration property)        : 配置属性由 Ambari 管理，例如 NameNode 堆大小和复制因子
配置类型(configuration type, config type): 配置属性的组，例如，hdfs-site
服务配置(service configurations)        : 特定服务的配置类型集，例如，hdfs-site 和 core-site 作为 HDFS 服务配置的一部分
修改注释(change notes)                    ：作为服务配置修改可选的注释
服务配置版本(service config version, SCV)    : 特定服务的一个配置版本
主机配置组(host config group, HCG)        : 一系列配置属性应用到一个特定的主机集合


6.4.3 保存修改 (Saving a Change)
-----------------------------------------------------------------------------------------------------------------------------------------
    ①    在 Configs, 修改某一配置属性的值
    ②    选择 Save
    ③    可选地，输入描述修改地注释
    ④    单机 Cancel 继续编辑，单击 Discard 保持控件没有任何修改，或者单击 Save 确认修改



6.4.4 查看历史 (Viewing History)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari Web 中，可以在两个位置查看配置变化历史：Dashboard 页面的 Config History tab, 和每个服务页面的 Configs tab

Dashboard > Config History tab 页面显示一个所有服务所有版本的表格，每个版本的号码和创建的时间日期。也可以看到是哪个用户修改的配置，以及修改
的注释。使用这个表格，可以过滤，排序，以及搜索版本。

Service > Configs tab 页面只显示最近配置的修改，当然也可以使用版本滚动条查看更早版本。利用这个选项卡可以快速访问服务最近的配置修改

利用这个视图，可以单击滚动条内的任何版本来查看，也可以将鼠标指针悬停在版本上以显示一个选项菜单，可以进行版本比较和执行恢复操作，可以选定
任何一个最为当前版本。


6.4.5 比较版本 (Comparing Versions)
-----------------------------------------------------------------------------------------------------------------------------------------
当在 Services > Configs tab 页面浏览版本滚动时，可以将鼠标指针悬停在版本上显示 view, compare, or revert (make current) 选项。

比较两个服务配置版本：

    ①    导航到某个配置版本，如 V6
    ②    利用版本滚动条，找到要与 V6 进行比较到版本，利润 V2
    ③    将鼠标指针悬停在 V2 上显示选项菜单，然后单击 Compare.

Ambari 显示 V6 和 V2 的比较，伴随一个 revert to V2 ((Make V2 Current) 的选项。Ambari 也在 Filter 控件新，通过 Changed properties 过滤显示



6.4.6 恢复修改 (Reverting a Change)
-----------------------------------------------------------------------------------------------------------------------------------------
通过 Make Current 特性可以恢复到一个旧的服务配置版本。Make Current 从选择恢复的版本上，创建一个新的服务配置版本，效果上，相当于一个克隆

启动 Make Current 操作后，在 Make Current Confirmation 提示上，输入注释并保存(Make Current)

有多种方法可以恢复到一个之前的配置版本：

    ● 查看一个特定的版本，然后单击 Make V* Current:
    ● 使用版本导航，然后单击 Make Current
    ● 将鼠标指针悬停到版本滚动条中到一个版本，然后单击 Make Current
    ● 执行版本比较，然后单击 Make V* Current



6.4.7 主机配置组 (Host Config Groups)
-----------------------------------------------------------------------------------------------------------------------------------------
服务配置版本作用域范围是到一个主机配置组。例如，在默认组中的修改可以在那个配置组中被比较和恢复，自定义组中也应用同样的方式。








6.5 下载客户端配置文件 (Download Client Configuration Files)
-----------------------------------------------------------------------------------------------------------------------------------------
客户端配置文件包括：.xml 文件, env-sh 脚本, 以及 log4j 属性用于配置 Hadoop 服务。对于包括客户端组件的服务(大多数服务，除了 SmartSense 和
Ambari Metrics 服务)，可以下载与那个服务相关联的客户端配置文件。也可以下载整个集群的客户端配置文件作为一个存档文件。

● 为单一服务下载客户端配置文件：

步骤：
    ①    在 Ambari Web 中，浏览到想要配置到服务
    ②    单击 Service Actions
    ③    单击 Download Client Configs
        
    浏览器下载一个 "tarball" 存档文件只包含选定服务的客户端配置文件到浏览器默认的，本地下载目录
    
    ④    如果提示保存或打开客户端配置文件    
    ⑤    单击 Save File, 然后单击 OK
    
● 要为整个集群下载所有客户端配置文件

    ①    在 Ambari Web, 在服务列表底部单击 Actions
    ②    单击 Download Client Configs

    浏览器下载一个 "tarball" 存档文件包含集群所有客户端配置文件到浏览器默认的，本地下载目录



7 管理集群 (Administering the Cluster)
-----------------------------------------------------------------------------------------------------------------------------------------
利用 Ambari Web Admin 选项：

任何用户(any user)                    : 可以查看有关安装栈和加入其中的每个服务版本的信息

集群管理员(Cluster administrators)    : 能够
                                    • 启用 Kerberos 安全性
                                    • 重新生成 key tabs
                                    • 查看服务用户帐号的名称和值
                                    • 启用服务的自动启动

Ambari administrators                ：能够
                                    • 添加新服务到安装栈
                                    • 升级安装栈到一个新的版本            




7.1 利用安装栈和版本信息 (Using Stack and Versions Information)
-----------------------------------------------------------------------------------------------------------------------------------------
Stack tab 包含有关集群栈中已安装和可用的服务。任何用户都可以浏览服务列表。作为 Ambari 系统管理员，可以单击 Add Service 来启动向导来安装
服务到集群中。

Versions tab 包含有关哪个版本的软件当前已安装并运行在集群中的信息。作为集群管理员，可以在此页启动一次自动集群更新。



7.2 查看服务账号 (Viewing Service Accounts)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员，可以查看集群服务的服务用户和用户组账号列表。

在 Ambari Web UI > Admin, 单击 Service Accounts



7.3 启用 Kerberos 和重新生成 Keytabs (Enabling Kerberos and Regenerating Keytabs)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员，可以在集群上启用并管理 Kerberos 安全性。

前提准备：
    在集群上启用 Kerberos 之前，必须为集群做好准备，如下列新所描述：
    
    https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-security/content/ch_configuring_amb_hdp_for_kerberos.html


步骤：
    在 Ambari web UI > Admin 菜单，单击 Enable Kerberos 启动 Kerberos 向导

Kerberos 启用之后，可以在 Ambari web UI > Admin 菜单，重新生成 key tabs 以及禁用 Kerberos


7.3.1 重新生成 Keytabs (Regenerate Key tabs)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员，可以再生维护 Kerberos 安全性要求的 key tabs


前提准备：
    再生 key tabs 之前：

    ● 集群必须 Kerberos-enabled
    ● 必须有 KDC Admin 凭证

步骤：
    ①    浏览到 Admin > Kerberos
    ②    单击 Regenerate Kerberos.
    ③    确认选择
    ④    Ambari 连接到 Kerberos Key Distribution Center (KDC) 并为服务和集群到 Ambari 负责人再生 key tabs. 可选地，可以只为那些丢失连 key
        tab 的主机生成 key tab, 例如，为那些在 Ambari 启用 Kerberos 时不在线或不可用的主机再生。
    
    ⑤    重启所有服务
    
    
7.3.2 禁用 Kerberos (Disable Kerberos)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员，可以在集群上禁用 Kerberos

前提：
    禁用 Kerberos 安全性之前，集群必须已经是 Kerberos-enabled
    
步骤：
    ①    浏览到 Admin > Kerberos
    ②    单击 Disable Kerberos
    ③    确认选择
        集群服务停止，并且 Ambari Kerberos 安全性设置重置
    
    ④  要重新启用 Kerberos, 单击 Enable Kerberos 并跟随向导
    
    
    
7.4 启用服务自动启动 (Enable Service Auto-Start)
-----------------------------------------------------------------------------------------------------------------------------------------    
作为集群管理员或集群操作员，可以启用安装栈内每一个服务自动重启。一个服务启用了 auto-start 会使 ambari-agent 不需要用户手工作用重新启动
停止状态的服务组件。auto-start 服务默认是启用的，但只有 Ambari Metrics Collector 组件默认设置为 auto-start。

作为第一步，应该在核心 Hadoop 服务的工作节点上启用 auto-start, 例如 YARN 和 HDFS 的 DataNode 以 NameNode 组件。 也应该在 SmartSense 服务中
为所有组件启用 auto-start. 启用 auto-start 之后，在 Ambari Web 表盘中监控服务的操作状态。Auto-start 不会尝试显示为后台操作。诊断服务组件的
失败启动，检查 ambari agent 的日志文件，位于组件主机的 /var/log/ambari-agent.log
    
管理一个服务的组件 auto-start 状态

步骤：
    ①    在 Auto-Start Services 上，单击一个服务名称
        
    ②    在 Auto-Start Services 控件的至少一个组件，单击灰色区域，使其状态变为 Enabled
    
        服务名称右侧的绿色图标指示该服务启用了 auto-start 的组件的百分比
        
    ③    要启用服务的所有组件为 auto-start, 单击 Enable All
    
        绿色图标填满指示该服务的所有组件启用了 auto-start
        
    ④    要禁用服务所有组件的 auto-start, 单击 Disable All
    
        绿色图标清空指示该服务的所有组件禁用了 auto-start
        
    ⑤    要清除所有未定的状态改变，在保存它们之前，单击 Discard
    
    ⑥    结束修改 auto-start 状态设置时，单击 Save.
    
禁用服务当 auto-start :
    
    ①    在 Ambari Web, 单击 Admin > Service Auto-Start
    ②    在 Service Auto Start Configuration 中, 在 Auto-Start Services 控件上，单击灰色区域，使其状态由 Enabled 变为 Disabled

    ③    单击 Save

 

 

 

 

 

参考：

        Ambari 操作指南 (Ambari Operations) 之一

        Ambari 操作指南 (Ambari Operations) 之二

        Ambari 操作指南 (Ambari Operations) 之三

        Ambari 操作指南 (Ambari Operations) 之四

        Ambari 操作指南 (Ambari Operations) 之五

        Ambari 操作指南 (Ambari Operations) 之六