赞
踩
20200922 -
几年前为了处理大量的日志,简单学习了hadoop的内容,之后就在自己的几台破PC上进行了实验,当时安装的方式步骤大致如下:
之前还想过利用docker的形式来部署,但是好像是存在一些问题的,并不是那么简单,虽然我当时部署一个单机的成功了。不过,现在想想,这种基础服务,最好还是直接逻辑部署比较好。
今天在看zeppelin的时候,发现了另外的一个工具ambari,可以自动完成Hadoop,更准确写,是一整套大数据生态的部署自动化。
关于ambari具体的部署过程呢,这里不再赘述,可以参考文章[1],我大致看了看文章[1],基本上了解了过程,跟我想象中是一样的。这里说一下我的疑问,如果是直接联网利用yum什么东西下载的化,必然会导致网速很慢,部署部署起来很慢,那么是不是有离线安装的方式呢?文章[2]就是解决这个问题。
通过搭建内网yum源,然后在ambari部署某个工具的时候,选中本地源就好了。
我看了一下ambari的GUI界面,没有进行具体的内容查看,但是在[1]的部署过程中,提到了对一些参数的设置,那么也就是说,其实是可以通过ambari进行参数调整的。这个是很方便的一个事情,因为有了这个过程,就不用向我之前的步骤一样,还得通过clush进行文件传输,然后重启全部的jps服务了。
[1]【大数据----Ambari】大数据平台的搭建利器
[2]Ambari2.6.0 安装HDP2.6.3(离线安装)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。