ambari 安装及使用ambari安装hadoop记录

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客

1、ambari简介

        Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。

        Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。 

        百度百科-验证

2、软硬件配置

        2.1 硬件

        2.2 软件

 3、安装准备

        注意：此章节的配置操作，在三台主机上，均需执行。配置时，注意三台主机间的差异（hostname、IP等）。

        3.1 关闭IPV6

        使用root用户修改/etc/sysctl.conf文件，命令：

        修改后：

        修改/etc/sysconfig/network文件，命令：

        修改后：

 

         修改/etc/sysconfig/network-scripts/ifcfg-enp0s3文件，命令：

        修改后：

 

        重新启动网络服务并验证，命令：

        输出：

 

        如图，“inet”与“ether”之间，没有ipv6的信息，即说明ipv6已关闭。

        3.2 配置静态IP

        使用root用户，配置ip

        修改后：

        应用配置，命令：

        查看ip

 

         3.3 修改主机名

        使用root用户，修改/etc/hostname文件，命令：

        修改后:

        3.4 修改hosts文件

        使用root用户，修改/etc/hosts文件，添加IP-主机映射表，命令：

        修改后（添加以下内容）：

        3.5 关闭防火墙

        使用root用户，永久打开防火墙，命令：

        输出：

        重启系统后，查看防火墙状态，验证：

        输出1，防火墙启动中：

        输出2，防火墙关闭中：

        永久关闭防火墙，命令：

        输出：

        3.6 禁用linux huge page

        命令：

        修改后（添加如下内容）：

 

3.7 关闭selinux

        安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。

        SELinux 主要由美国国家安全局开发。2.6 及以上版本的 Linux 内核都已经集成了 SELinux 模块。

        使用root用户，查看SELinux状态

        输出：返回“Enforcing”为开启。

        修改文件，命令：

        修改后：

        重启系统，使用root用户，查看SELinux状态，命令：

        输出：

 

        3.8 添加hadoop用户及用户组

        使用root用户，创建用户、用户组，并设置用户密码，命令：

        3.9 SSH免密登录

        配置SSH无密码登录时，XCloud169作为主控节点，需生成SSH公钥，并将公钥发送（复制）给要无密连接的主机，导入授权文件。

        例如XCloud69节点，需要将生成的公钥(id_rsa.pub)，分别发送给XCloud170、XCloud171节点，然后分别在XCloud170、XCloud171节点上，将XCloud169的公钥导入各自的授权文件（authorized_keys）中。

        初始状态下，hadoop根目录下没有.ssh目录，使用hadoop用户，执行“ssh 主机名”生成，命令：

        输出（截图中的主机是XCloud150，注意参考）：

        切换路径至hadoop用户的.ssh目录下，命令：

        使用hadoop用户，生成SSH公钥，命令：

        一直回车，输出：

        将公钥发送（复制）给要无密连接的主机（XCloud170、XCloud171）

        注意：主机XCloud169、XCloud170、XCloud171均应执行过一、二步，根目录下已生成.ssh目录

        命令：

        输出：

 

        分别在XCloud170、XCloud171主机上，使用hadoop用户，将XCloud169的SSH公钥导入授权文件，命令：

        输出：

        分别对每台主机的hadoop用户的.ssh目录及authorized_keys文件授权，命令：

        验证，XCloud169作为主控节点，应能够无密码登录、登出其余主机。命令：

        输出：

4、安装JDK

        注意：此章节的配置操作，在三台主机上，均需执行。

        4.1 卸载已有JDK

        CentOS 7 自带的OpenJDK（如rhel-2.5.3.1.el7_0-x86_64 u71-b14）并非开发版的版本，未包含javac，不满足要求，因此为简化处理，首先卸载OpenJDK，安装Oracle发布的JDK，在当前，选择公司统一使用的jdk-8u131版本。

        查看CentOs7自带的java软件，命令：

        切换root用户，并逐一卸载已有的java软件，以“copy-jdk-configs-3.3-10.el7_5.noarch”为例，命令：

       4.2  安装Oracle发布的JDK

        FTP上传jdk-8u131-linux-x64.rpm到CentOS上，使用root用户安装，命令：

        输出：

 

        修改/etc/profile文件，配置JDK环境变量，命令：

        修改后(添加如下内容)：

 

        重新启用环境变量，并验证，命令：

        输出：

 5、安装 MySQL5.7

                        在XCloud169上，安装Mysql5.7，作为ambari的元数据库，存放ambari的元数据信息。

6、安装ambari

        注意：此章节的配置操作，如无特殊说明，则表示在三台主机上，均需执行。

        6.1 拷入mysql数据库的驱动jar

        将mysql数据库的驱动jar拷贝到 /usr/share/java 路径下。如图：

        6.2 安装httpd和wget服务

        命令：

        6.3 下载ambari和HDP安装包

        命令：

        6.4 构建本地资源库

        在/var/www/html路径下，创建ambari目录，命令：

        解压ambari和HDP安装包，并将解压后的安装目录移动到/var/www/html/ambari目录下，命令：

        验证：在浏览器中输入http://XCloud169/ambari，回车后应能看到ambari及HDP的安装包资源。如图：

        6.5 构建yum源

        切换路径至 /etc/yum.repos.d/ 目录，创建ambari.repo和hdp.repo文件。命令：

        如图：

        6.5.1 编辑ambari.repo文件

        命令：

        在ambari.repo文件中，添加内容如下：

        效果图：

 

        注意：baseurl和gpgkey前部分的 XCloud169 是主节点的主机名，后部分从ambari开始，与资源库的路径一直，如：

 

       6.5.2  编辑hdp.repo文件

        命令：

        在HDP.repo文件中，添加内容如下：

        效果图：

        注意：HDP的baseurl和gpgkey前部分的 XCloud169 是主节点的主机名，后部分从ambari开始，与资源库的路径一直，如：

        HDP-UTILS同HDP。

        6.6 更新yum缓存

        命令：

        输出：

 

 

        6.7 安装在主节点安装ambari-server

        在主节点（XCloud169）上，安装ambari-server，命令：

        输出：

        6.8 设置ambari-server

        在主节点（XCloud169）上，设置ambari-server，命令：

        命令执行过程中，需手动完成以下几项配置：

        输出：

        6.9 在mysql中生成ambari元数据表

        使用ambari用户，登录mysql数据库，选择ambari数据库实例，并生成ambari元数据表。命令如下：

        输出如下：

        6.10 启动ambari-server

        在主节点，启动ambari-server，命令：

        输出：

        6.11 停止ambari-server

        命令：

        输出：

 

        6.12 安装ambari-agent

        注意：安装ambari-agent之前，首先要停止ambari-server。

        在每一个节点上安装ambari-agent，命令：

        输出：

        6.13 编辑ambari-agent的配置文件

        修改ambari-agent的配置文件，将hostname改为主节点的主机名。命令：

        修改后：

 

        6.14 启动ambari（包括ambari-server、ambari-agent）

        在主节点启动ambari-server；在每一个节点上，启动ambari-agent，命令：

        输出：

        6.15 在浏览器上，打开ambari

        在浏览器中输入ambari的访问地址：http://192.168.0.169:8080/。

        默认用户密码：admin/admin。 如图：

7、安装hadoop集群

        登录ambari的web界面，在“Cluster Managerment”→“Cluster Information”菜单下，点击“LAUNCH INSTALL WIZARD”按钮，如图：

        在安装向导的“Get Started”步骤中，自定义填写集群名称，如图：

        在安装向导的“Select Version”步骤中，选择要安装的hadoop的版本、安装包和服务器系统等信息。

        这里提供了两个安装包的资源库，一个是“Use Public Repository”（使用公共资源库），一个“Use Local Repository”（使用本地资源库）。

        “Use Public Repository”即是指网络中的资源库，安装时，实时下载。但因为实时下载慢，且存在连接超时等问题，因为不推荐使用。

        “Use Local Repository”即是指事先下载好安装包，并放到本地构建本地资源库。

        如图：

8、中止Hadoop安装

        因为HDP的安装包无法获取，所以中止Hadoop安装。具体原因如下：

• 安装HDP所需的安装包下载缓慢或者无法下载。以下是2021年之前的HDP下载地址，经测试，HDP、HDP-UTILS下载速度很慢，只有十几kb，HDP-GPL无法获取资源

• 2021年之后，HDP开始收费。新的资源，需购买订阅后才能下载。

 

 

 大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客