用Ambari一键部署大数据平台_大数据管理平台 ambari

安装前准备

先明确几个概念：
1. Ambari只能安装Hortonworks Data Platform，即Hortonworks的开源Hadoop，不支持Apach的Hadoop平台；
2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的，不能使用Ambari来管理；

再说几个注意事项：
1. Ambari默认的安装方式是使用yum，从远程下载HDP组件安装，而HDP平台安装包都非常大（本例中使用的HDP-2.4.0安装包为6G），Ambari平台有又30分钟的Timeout限制，如果在30分钟内下载不完HDP，就会造成安装失败。建议修改下载源文件，配置为本地源；
2. Ambari安装过程为自动安装，自动安装脚本会创建很多用户和其他组件（如系统自带的Java和数据库），建议使用一套干净的环境来安装。
3. 如第2点所示，脚本会自动创建用户和安装组件，建议使用root用户；
	4. 系统请关闭Selinux、防火墙和THP；
	5. 集群机器请事先配置ssh互信；还是建议使用root用户来互信；

安装

操作系统：CentOS 6.5

 

集群机器情况：

配置本地源

上文提到，为了加快安装速度和防止超时错误，建议为HDP配置本地源，请在事先在网上下载HDP、HDP-UTILS和Ambari，本例中几个组件版本为HDP-2.4.0，HDP-UTILS-1.1.0.20和Ambari-2.2.1.0。我们把master服务器做为源服务器。以下操作在master机器运行。

yum install httpd
yum install yum-utils
yum repolist

yum install createrepo

安装http服务

1. 直接使用命令：yum install httpd；安装完成后，会生成 /var/www/html 目录。

2. 在/var/www/html目录下，分别建立ambari和hdp目录
cd /var/www/html
mkdir ambari
mkdir hdp

3. 启动httpd服务
Service httpd start

4. 设置httpd服务开机自动启动
Chkconfig httpd on

下载、配置Ambari本地源ambari.repo

1. 把下载的Ambari tar包解压后拷贝到刚才建立的/var/www/html/ambary/目录中，在浏览器中输入地址，就可以看到ambari目录结构

http://master:8889/ambari/AMBARI-2.2.1.0/centos6/2.2.1.0-161/

域名后8889为httpd服务配置的端口

这个地址，就是本地源的地址

 

2. 使用wget命令：

wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.4.1.25/ambari.repo

 

命令完成后，wget命令会默认下载到本目录，把下载后的ambari.repo文件拷贝到/etc/ yum.repos.d目录下。

 

修改ambari.repo文件

[Updates-ambari-2.0.1]

name=ambari-2.2.1 - Updates

baseurl=http://master:8889/ambari/AMBARI-2.2.1.0/centos6/2.2.1.0-161/

gpgcheck=0

enabled=1

priority=1

红色字体为修改部分，把baseurl换成本地的url。

配置HDP本地源

把下载的HDP-2.4.0.0-centos6-rpm.tar.gz包拷贝到/var/www/html/hdp/目录下，用浏览器输入网址http://master:8889/hdp/HDP-2.4.0/centos6/2.x/updates/2.4.0.0/，查看HDP目录结构

在/etc/yum.repo.d目录中，修改HDP.repo文件
[HDP-2.4]
name=HDP-2.4
baseurl=http://master:8889/hdp/HDP-2.4.0/centos6/2.x/updates/2.4.0.0/
path=/
enabled=1
gpgcheck=0

红色字体为修改部分，把baseurl换成本地的url。

配置HDP-UTILS

同样，把下载的HDP-UTILS-1.1.0.20-centos6.tar.gz包拷贝到/var/www/html/hdp/目录下，用浏览器输入网址http://master:8889/hdp/HDP-UTILS-1.1.0.20/repos/centos6/，查看HDP-UTILS目录结构

在/etc/yum.repo.d目录中，修改HDP.repo文件
[HDP-UTILS-1.1.0.20]
name=HDP-UTILS-1.1.0.20
baseurl=http://master:8889/hdp/HDP-UTILS-1.1.0.20/repos/centos6/
path=/
enabled=1
gpgcheck=0
红色字体为修改部分，把baseurl换成本地的url。

生成本地源

使用createrepo命令，生成本地源
createrepo /var/www/html/hdp/HDP-2.4.0/centos6/2.x/updates/2.4.0.0
createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.20/repos/centos6
createrepo /var/www/html/ambari/AMBARI-2.2.1.0/centos6/2.2.1.0-161

关闭Selinux和THP

关闭Selinux

注意，在集群的每个节点，都要关闭Selinux

使用sestatus -v 命令，查看Selinux状态。

如果不是disable状态，编辑/etc/sysconfig/selinux文件

vi/etc/sysconfig/selinux

把里边的一行改为

SELINUX=disabled

保存，然后重启机器。

关闭THP

在集群的每个节点，都要关闭。编辑/etc/grub.conf文件，在kernel 行后面加入

transparent_hugepage=never，保存退出，重启机器。

Ambari安装

使用命令查看案例列表：

yum clean all

yum list|grep ambary

直接使用命令yum install ambari-server安装即可，由于配置了本地源，安装过程非常快，可比网络资源节省一半以上的时间。

安装完成后，使用命令，amari-server setup 设置Ambari，基本都可以一路回车使用默认设置。为了演示完整的安装过程，本例中做了一些特殊设置。请同学们根据环境的实际情况自行选择配置。

1.设置JDK

2.设置数据库，Ambari默认使用的是PostgreSQL，也可指定其他数据库

为了达到演示效果，本例就不使用其他数据库了，简单改变PostgreSQL中的几项设置即可。

Ambari默认使用的是8080端口，如果端口被占用，可修改配置文件/etc/ambari-server/conf/ambari.properties，在文件中增加 client.api.port=<port_number>

 

配置完成后，使用命令ambari-server start 启动Ambari。

启动成功后，在浏览器输入网址http://master:8080 ,看到如下界面，就说明安装成功了。

Ambari默认用户名/密码是：admin/admin

部署大数据平台

图文并茂

步骤一，点击运行安装向导

步骤二，输入你的集群名称

步骤三，选择HDP版本

注意： HDP资源默认是从网络下载，请点击下方的Advance Repository Options，把HDP和HDP-UTILS地址替换成我们上方配置的本地源，否则容易发生超时错误。

步骤四，输入安装选项，数据集群的机器host name，ssh互信的私钥和ssh用户；

请注意：在ssh user accout的地方，为了安装成功，我使用的是root用户

由于我的机器不在域中，系统会提示不是一个完整的FQDN(完整的FQDN类似于master.example.com这种格式)，不用管他，直接点OK按钮。

步骤五，选择完机器后，Ambari会自动在其他的机器上安装ambari-agent代理

可能会出现的问题：

ambari-agent注册失败，日志显示端口被占用，网上查询结果是Agent使用的8670端口

手工连接到失败的服务器上，netstat -anp|grep8670，发现果然在监听状态，然后输入命令kill -9 [进程id]，再Retry便可成功

 

安装成功后，界面如下：

请注意：画面下方的potential problems，这里系统在坚持潜在的问题，完成后，会有显示当前问题列表，检查完成后，系统会给出问题解决方法，请把列出的警告的problems也一一解决掉，否则安装可能会不成功

步骤六，选择需要安装的服务组件，已经包括了HDFS，Yarn，Hbase，Hive，Spark等等，的确非常方便，不用在一一部署了

步骤七，分配Master服务器，可以看到能做NameNode和2nd NameNode高可用，Hbase也是

步骤八，选择Slave节点，Client随便选一个Slave安装就可以了。

步骤九，配置文件，可图形化配置core-site.xml，hdfs-site.xml等文件，有时候系统出现标记，如Hive组件，系统会要求你输入元数据库的用户名，密码和地址，输入完成后，点击下一步

点击下一步后，检查配置

步骤十，系统根据配置，开始部署

等待安装完成，因为我们配置了本地源，安装非常迅速

可能会出现的问题：

Too many levels of symbolic links

安装HDFS和HBASE的时候出现/usr/hdp/current/hadoop-client/conf  doesn't exist

是由于/etc/hadoop/conf和/usr/hdp/current/hadoop-client/conf目录互相链接，造成死循环，所以要改变一个的链接

需要在失败的节点运营命令：

cd /etc/hadoop

rm -rf conf

ln -s/etc/hadoop/conf.backup /etc/hadoop/conf

HBASE也会遇到同样的问题，解决方式同上

cd /etc/hbase

rm -rf conf

ln -s/etc/hbase/conf.backup /etc/hbase/conf

ZooKeeper也会遇到同样的问题，解决方式同上

cd /etc/zookeeper

rm -rf conf

ln -s/etc/zookeeper/conf.backup /etc/zookeeper/conf

步骤十一、安装完成后，系统会自动系统大数据平台

大功告成。