搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
运维做开发
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
python3使用kivy生成安卓程序_kivy 安卓
2
2024年网络安全最全手把手教你opencv做人脸识别(附源码+文档)_opencv人脸识别代码,2024年最新字节跳动资深面试官亲述_opencv 人脸识别
3
python绘制词云图的心得体会,python如何制作词云图_用代码生成词云
4
RabbitMQ简介及在Linux中安装部署(yum或者Docker)_yum 部署rabbitmq
5
探索AGI系列 | 01. LLM不等于通用人工智能望周知_llm.01com
6
uniapp微信小程序授权获取用户信息封装_uniapp开发@getuserinfo 个人号关于获取信息接口的权限
7
c++二叉树(统计叶节点,判断两颗二叉树是否相等,交换二叉树的左孩子右孩子,输出叶子到根节点的路径)_交换二叉树左右孩子,并求最长路径
8
计算机网络-IP地址解析
9
C语言运行时库详解_windons c语言运行时库在哪
10
CodeForces 1230A Dawid and Bags of Candies模拟_bags of candies 题解
当前位置:
article
> 正文
hortonworks data platform 安装配置文档
作者:运维做开发 | 2024-06-21 14:28:25
赞
踩
hortonworks data platform
该hortonworks数据平台,是以apache hadoop为基础开发,是一种大规模可扩展100%开放源码的平台用于存储,处理和分析大量的数据。它被设计用来处理多的数据源以快速访问,方便和符合成本效益的方式。该hortonworks数据平台基于apache hadoop项目包括 MapReduce,分布式文件系统(HDFS),HCatalog,Pig,Hive,HBase,Zookeeper 和Ambari。Hortonworks 主要贡献是对这些项目的的代码进行整改。这些项目已经经过综合测试ortonworks数据平台的发布过程,安装和配置工具的一部分也被包括。
与其他供应商使用apache hadoop不同,hortonworks 贡献出100%我们的源码给apache软件基金会。该Hortonworks数据平台经Apache许可和完全开发源代码。我们只卖专家的技术支持,培训和合作伙伴的支持服务。我们所有的技术,并将保持自由和开放源码。
请访问hortonworks数据平台的网站来获得hortonworks技术的更多信息。要获得hortonworks服务的更多信息,请访问支持或培训页面。如果你们需要请与我们联系并讨论您的具体需要。
1.准备
本节描述的信息和材料,你需要准备使用ambari安装hadoop。Apache Ambari 提供end-to-end管理并且实现Apache Hadoop的检测与解决方案。使用with,部署和操作,你可以使用Web界面和其他API通过管理修改配置和从一个中心点服务检测所有节点的集群
*确定堆栈兼容性
*满足最低系统要求
*收集信息
*准备环境
*可选:配置Ambari本地存储库
1.1.确定堆栈兼容性
使用这张表来判断你的Ambari和HDP栈版本兼容性
table
Ambari 1.6x 不能安装HDP2.0 Stack 的FLume和Hue服务
Ambari 1.6x 不能案子HDP2.1 Stack 的 Flume,Hue,Knox,或Solr服务
更多信息
*安装 Accumulo,Flume,Hue,Knox,和Solr 服务,请先阅读HDP安装手册。
*HDP2.0.6 stack(或之后)补丁,请看HDP发布说明,在HDP文档。
*部署Ambari和HDP Stack,查看 部署,配置,升级HDP
1.2.满足最低系统要求
运行Hadoop你的系统必须满足的最低要求。
*硬件的建议
*操作系统要求
*浏览器的要求
*软件要求
*JDK要求
*数据库要求
*文件系统分块建议
1.2.1.硬件要求
这里没有一个单一的硬件要求设置安装Hadoop
对可能影响您的安装参数的更多信息,请参考Apache Hadoop 硬件建议。
1.2.2.操作系统建议
下面的操作系统支持
• Red Hat Enterprise Linux (RHEL) v5.x or 6.x (64-bit)
• CentOS v5.x or 6.x (64-bit)
• Oracle Linux v5.x or 6.x (64-bit)
• SUSE Linux Enterprise Server (SLES) 11, SP1 or SP3 (64-bit)
注:
如果你想要在SLES 11 SP3安装HDP Stack,一定参考SLEX 11 SP3 中HDP 库的特性中HDP 库中配置库.或,如果你计划进行本地存储安装,请确保使用SLES 11 SP3库。
重要的:
这个安装程序的许多包来自于底层操作系统。如果你没有一套完整的操作系统基础库供你所有的机器安装,你可能会遇到问题的时候。
如果你遇到操作系统基础库不可用的问题,请请与您的系统管理员联系来安排这些额外的仓库被代理或镜像。更多信息见可选配置局部存储库
1.2.3.浏览器要求
Ambari安装想到运行是一个基于浏览器的web应用程序。你必须有一个机器能供运行一个图形浏览器使用这个工具。支持的浏览器。
• Windows (Vista, 7)
• Internet Explorer 9.0 and higher (for Vista + Windows 7)
• Firefox latest stable release
• Safari latest stable release
• Google Chrome latest stable release
• Mac OS X (10.6 or later)
• Firefox latest stable release
• Safari latest stable release
• Google Chrome latest stable release
• Linux (RHEL, CentOS, SLES, Oracle Linux)
• Firefox latest stable release
• Google Chrome latest stable release
1.2.4.软件要求
在你的每个主机
• yum and rpm (RHEL/CentOS/Oracle Linux)
• zypper (SLES)
• scp, curl, and wget
• python (2.6 or later)
重要的:
Pyhon的版本用SUSE 11,2.6.0-8.12.2,有一个关键的错误这可能导致Ambari在开始的24小时内代理失败。如果你要安装SuSE 11,请更新您的所有主机的Python版本2.6.8-0.15.1。
1.2.5.JDK 要求
下面的JAVA运行时环境的支持:
• Oracle JDK 1.7_45 64-bit (default)
• Oracle JDK 1.6_31 64-bit
注:
过时的Ambari1.5.1
• OpenJDK 7 64-bit (not supported on SLES)
1.2.6 数据库要求
Hive/HCatalog, Oozie, and Ambari 都需要他们自己安装数据库
• Hive/HCatalog:默认情况下使用 Ambari-安装 MySql 5.x实例。如果有提前安装,你可以使用现有的PostgreSQL9.x,MySQl 5.x,或Oracle 11gR2实例。查看使用非默认数据库-hive的更多信息使用现有实例。
• Oozie:默认情况下使用Ambari-安装 Derby实例。用适当的准备。你也可以使用现有的PostgreSQL9.x,MySQL5.x,或Oracle 11g R2实例。查看使用非默认的数据库在使用现有的实例Oozie的更多信息。
• Ambari: 默认情况下使用Ambari-安装 PostgreSQL 8.x实例。如果已经安装,也可以使用现有的PostgreSQL9.x,MySQL5.x,或Oracle 11g R2的实例。查看使用非默认的数据库-Ambari使用更多的信息现有的实例。
1.2.7.文件系统分块建议
有关设置文件系统分区在HDP的主节点和从节点信息集群,查看文件系统的分区建议。
1.2.8.推荐的最大打开的文件描述符
推荐的最大的打开的文件描述符的数目为10000或更高。检查设置为打开的文件描述符的最大数量的当前值,执行下面的命令:"ulimit -Sn" and "ulimit -Hn"
1.3.收集信息
部署Hadoop的安装,你需要收集以下信息:
在系统中的每台主机必须有完全合格的域名,并组成你想要设置的主机。Abari安装向导不支持使用IP地址。如果你不知到它,你可以使用 主机明 -f来检查FQDN
注:
所然有可能在一个主机商部署所有的Hadoop组件,这只适合最初的测试。一般至少使用3台主机:以台master主机和两台slaves.
如果你想要基本目录添加存储节点:
• NameNode data
• DataNodes data
• Secondary NameNode data
• Oozie data
• MapReduce data (Hadoop version 1.x)
• YARN data (Hadoop version 2.x)
• ZooKeeper data, if you install ZooKeeper
• Various log, pid, and db files, depending on your install type
重要的:
在你的HDP组件和Hadoop的数据中你必须使用基础目录提供的持久性存储位置。从主机删除HDP组件的安装位置会导致集群失败或数据丢失。例如:不要在基本目录路径使用 /tmp
1.4.环境准备
部署Hadoop的实例,你需要准备部署环境:
•检查现有的安装
•设置密码SSH少
•设置用户和组
•启用NTP在集群
•检查DNS
•配置链接s
•禁用SELinux,PackageKit 和检查umask值
1.4.1.检查现有安装
Ambari 会自动安装或更新Ambari 和Hadoop运行关键文件 。在运行安装程序中排除Ambari使用可能导致问题的版本,以便移除任何现有的安装不符合以下列表
table
ainstalled在群集的每个主机。与Ambari服务器执行命令传达
运行Nagios服务器主机
运行节点服务器主机
dinstalled集群中的每个主机上。发送到神经节度量数据集。
1.4.2设置密码SSH
有 Anbari 服务器自动安装 Anbari Agents在你的集群计算机上,你必须设置SSH密码在主要安装链接之间(Ambari服务)主机和其他服务器。Ambari服务主机充当客户端并且使用密钥进行访问其他主机群安装Ambari Agent。
注:
你可以选择在每个集群主机上手动安装Agents。在这种情况下你不需要设置SSH.请参考阅读安装Ambari Agents手动更多信息。
1.生成公钥和私钥SSH在Anbari服务主机
ssh-keygen
2.在你的目录主机上使用root帐号复制SSH公钥(id_rsa.pub)
.ssh/id_rsa
.ssh/id_rsa.pub
3.在你的目标主机上添加SSH公钥在authorized_keys文件中
cat id_rsa.pub >> authorized_keys
4.根据你SSH的版本,你可能需要对SSH目录设置权限(700)和 authorized_keys文件目录中(600)在你的主机上。
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
5.在你的Ambari服务器确认你可以链接到每个主机集群中的SSH
ssh root@{remote.target.host}
在你第一次正确链接时会看到这个警告
Are you sure you want to continue connecting (yes/no)?
6.如果你愿意可以在Ambari web-based 安装向导中复制保存SSH私钥
注
你可以使用一个非root SSH的账户,如果该帐号可以执行sudo不许要输入密码。
1.4.3.设置用户和组
Ambari 安装 自动创建默认用户和组张和,Ambari会保留任何目前以有用户和组帐号,并且配置Hadoop服务时使用这些账户。用户和组创建创建适用于user/group帐号在本地操作系统和LDAP/AD帐号
有关自动以用户和组账户的相信信息,参见下列主题之一:
• Customizing Services for HDP 1.x Stack
• Customizing Services for HDP 2.x Stack
1.4.4.启用NTP在集群和基于浏览器的主机
在群集的所有节点的时钟和运行浏览器通过机您访问Ambari网站必须能够彼此同步。
1.4.5.设置DNS
在你的系统所有主机中必须配置DNS和Reverse DNS.
如果你不梦配置DNS和Reverse DNS,你必须修改主机文件在集群的每一台主机上包含你的每个主机的地址和设置完全合格的域名主机各主机。以下说明通用Linux主机的基本网络设置。不同版本Linux命令可能稍微有些不同。请根基您的操作系统参阅基本操作文件。
1.4.5.1.编辑主机文件
1.使用一个文本编辑器,在你的群集的每个主机打开主机文件。例如:
vi /etc/hosts
2.在你的群集的每个主机上添加line。line应包括的IP地址和FQDN。例如:
1.2.3.4 fully.qualified.domain.name
注:
请不要删除以下文件从您的主机的一下两条line,不然各种需要的网络功能的程序可能会失败。
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
1.4.5.2.设置主机名
1.使用“hostname”命令来设置主机名对群集的每个主机。举个例子:
hostname fully.qualified.domain.name
2.确认主机名已设置运行下面的命令:
hostname -f
这会显示你刚刚设置的名字。
1.4.5.3.修改网络配置文件。
1.使用一个文本编辑器,打开每个主机的网络配置文件,此文件是用来为每个主机设定所需的网络配置。例如:
vi /etc/sysconfig/network
2.修改HOSTNAME 参数设置 fully.qualified.domain.name.
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=fully.qualified.domain.name
1.4.6.配置iptables
用Ambari部署和管理主机与个服务器之间的通信,必须保证端口开放和可用,做这个最简单的方法就是暂时禁用iptables。
chkconfig iptables off
/etc/init.d/iptables stop
你可以在安装完成后重新启动iptables。
如果在你的安装的安全协议不允许您禁用防火墙,你可以继续与他们,只要所有相关的端口是开放的。
在Ambari服务启动时,Ambari会核对查看iptables是否运行,如何运行,它会报警并打印提示你检查必要的端口是开放的。在安装向导中主机会逐一确认集群主机是否有iptables运行并发出警告。
重要的:
如果你许可iptables启用并没有建立不要的端口,集群安装将失败。
1.4.7.禁用SELinux和PackageKit查看umask值
1.Ambari 启动功能时必须暂时禁用SELinux。在每台集群的主机商运行命令:
setenforce 0
2.在RHEL / centos安装主机,如果安装PackageKit,打开/ect/yum/pluginconf.d/refresh-packagekit.conf用文本编辑器,使这个改变:
enabled=0
注:
PackageKit默认是不启用在SLES。除非你有特别的启用它,你不需要做这一步。
3。确保umask设置为022。
1.5.可选:配置本地库
如果你的集群使用了防火墙那阻止访问互联网,你可以安装Ambari和Stack使用本地资源库。本节描述如下:
*获得库
*设置建立本地资源库具有:
*无互联网接入
*临时网络接入
*准备Ambari存储库配置文件
1.5.1.获得库
本节描述如何获得
*Ambari 库
*HDP 库
1.5.1.1.Ambari 库
如何你在安装Ambari库时不能访问网络,请使用一下压缩包。
table 1.1.安装Ambari库-无网络链接
如果你能临时上网安装Ambari库,使用下面的存储库配置文件。
table 1.2 安装Ambari库-临时网络链接
1.5.1.2.HDO Stack 库
如果你没有网络链接来安装Stack库,使用下列包基于HDP Stack版本选择安装:
table 1.3.HDP 2.1 压缩包
table 1.4.HDP 2.0 压缩包
table 1.5 HDO 1.3 压缩包
如果你可以临时访问网络安装Stack资源库,使用基于HDP Stack选择相关安装版本库的配置文件:
table 1.6.HDP 2.1库文件
table 1.7.HDP 2.0库文件
table 1.8.HDp 1.3库文件
1.5.2.安装本地库
根据你的网络情况,选择下列选项之一:
*没有网络链接
此选项需要下载库的压缩包,将包拷贝到你选择集群镜像中,并提取创建库。
*临时链接网络
这个选项是使用你的临时网络链接同步(使用reposunc)软件包在你所选的镜像服务器创建库。
这两个选项进行相似,简单的方法。设置每一个选项提出一些关键性的差异,在下面的章节中描述:
*开始建立一个本地库
*设置本地库在不能联网的情况下
*设置本地库在临时可以上网的情况下
1.5.2.1.开始建立一个本地库
开始建立本地库,完成下列条件
•选择镜像服务器运行一个支持的操作系统
•启用网络访问在群集中的所有主机到镜像服务器
•确保镜像服务器有一个包管理器安装如such as yum(RHEL / CentOS /Oracle Linux)或zypper(SLES)
ON划词翻译ON实时翻译
•可选:如果你的仓库已临时接入互联网,你使用的是RHEL /CentOS Linux / Oracle您的作业系统,安装yum程序:
yum install yum-utils createrepo
1.Create an HTTP服务
a.在镜像服务器,安装一个HTTP服务器(如Apache httpd)使用这里提供的指导。
b.激活这个web服务
c.确保防火墙设置(如果有)允许入境的HTTP访问你的集群你的镜像服务器节点。
注:如果你正在使用Amazon的EC2,确保SELinux是禁用的。
2.在你的镜像服务器,创建您的Web服务器目录。
举例,从shell窗口,类型:
• For RHEL/CentOS/Oracle Linux:
mkdir -p /var/www/html/
• For SLES:
mkdir -p /srv/www/htdocs/rpms
•如果你使用的是symlink,给你的web服务器followsymlinks授权。
注:在你安装完完整的本地库之后,根据你的网络类型设置具体配置。
1.5.2.2.在无法链接网络的情况下 设置本地库
在你完成安装一个完整库之后,设置你的库完成以下步骤:
1.获得你想要的库的压缩包。选项,看得到库。
2.将库压缩包复制到web服务器目录并解压。
A.浏览到你创建的Web服务器目录。
• For RHEL/CentOS/Oracle Linux:
cd /var/www/html/
• For SLES:
cd /srv/www/htdocs/rpms
B.解压库包到下列位置:
table 1.9解压本地库的位置-没网络链接
3.确认你可以浏览到新创建的本地存储库
table 1.10. 本地库网址-无网络链接
注意:
一定要记录下这些库的URL。你需要它们,当安装Ambari和集群。
4.可选的:如果在你的环境中有多个存储库配置,部署以下插件在集群的所有节点。
安装插件:
• For RHEL and CentOS 5
yum install yum-priorities
• For RHEL and CentOS 6
yum install yum-plugin-priorities
b.修改/etc/yum/pluginconf.d/priorities.conf文件添加以下:
[main]
enabled=1
gpgcheck=0
1.5.2.3.具有设立临时Internet访问本地资源库
完成开始建立一个本地库程序完成后,设置你的库完成以下步骤:
1.把库的配置文件放在主机的Ambaru 和 Stack。举例,查看得到库。
2.确定库是可用的。
For RHEL/CentOS/Oracle Linux:
yum repolist
For SLES:
zypper repos
3。浏览Web服务器目录。
For RHEL/CentOS/Oracle Linux:
cd /var/www/html
For SLES:
cd /srv/www/htdocs/rpms
4。同步资料库的内容到您的镜像服务器。
• For Ambari, create ambari directory and reposync.
mkdir -p ambari/{$os}
cd ambari/{$os}
reposync -r Updates-ambari-1.6.1
• For HDP Stack Repositories, create hdp directory and reposync.
mkdir -p hdp/{$os}
cd hdp/{$os}
reposync -r HDP-{$latest}
reposync -r HDP-UTILS-{$version}
5。生成的元数据仓库。
• For Ambari:
createrepo {web-server-directory}/ambari/{$os}/Updates-ambari-1.6.1
• For HDP Stack Repositories:
createrepo {web-server-directory}/hdp/{$os}/HDP-{$latest}
createrepo {web-server-directory}/hdp/{$os}/HDP-UTILS-{$version}
6。确认你可以浏览到新创建的存储库。
table 1.11 新库访问路径
注意:一定要记录下这些库的URL。你需要它们,当安装Ambaru和集群。
7.可选。如果你有多个存储库配置您的环境中,部署以下插件在群集的所有节点。
a.安装插件
• RHEL and CentOS 5
yum install yum-priorities
• RHEL and CentOS 6
yum install yum-plugin-priorities
b.修改/etc/yum/pluginconf.d/priorities.conf 文件添加一下内容
[main]
enabled=1
gpgcheck=0
1.5.2.4 准备Ambari库配置文件:
1。你在前面创建的镜像服务器下载ambari.repo文件部分或从公共库。
• From your mirror server:
http://{web-server}/ambari/{$os}/1.x/updates/1.6.1/ambari.repo
• From the public repository:
http://public-repo-1.hortonworks.com/ambari/{$os}/1.x/updates/1.6.1/
ambari.repo
2.修改ambari.repo文件,使用Ambari 库基础URL获得当设置你的本地库时。阅读步骤3在本地库没有网络链接,或步骤5在本地库有临时网络链接,如果需要。
table 1.12 本地库基础URL
如果这一个Ambari更新发布,禁用GA库定义。
[ambari-1.x]
name=Ambari 1.x
baseurl=http://public-repo-1.hortonworks.com/ambari/centos6/1.x/GA
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-
GPG-KEY-Jenkins
enabled=0
priority=1
[Updates-ambari-1.6.1]
name=ambari-1.6.1 - Updates
baseurl=this.is.the.AMBARI.base.url
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-
GPG-KEY-Jenkins
enabled=1
priority=1
3.把你的机器ambari.repo文件放到之前计划使用的Ambari服务.
a. RHEL/CentOS/Oracle Linux
/etc/yum.repos.d
SLES
/etc/zypp/repos.d
b.修改/etc/yum/pluginconf.d/priorities.conf文件添加一下内容
[main]
enabled=1
gpgcheck=0
4.继续运行安装程序来安装和设置Ambari服务器。
2.安装Ambari 服务
Ambari 必须安装并且部署Hadoop.这个部分介绍如何安装Apache Ambari
*设置Bits
*设置服务
*启动Ambari服务
2.1.设置Bits
1.用root登录到本机作为Ambari服务.如果环境要求你可以登录并sudo as su。主机是主要的安装机器。
2.下载ambari 库文件并且复制到你的repos.d.
table 2.1 下载Ambari 库
重要的:
不要修改 ambari.repo的文件名。这个文件要求可以在代理服务器上注册Ambari
注:
当部署HDP对集群具有有限或没有接入互联网,你应提供访问使用一种替代方法的位。
•有关设置局部存储库的更多信息,参见可选:配置本地库。
•为获取更多的信息安全技术政策档案认证,请参见部署该政策档案对Ambari服务器。
Ambari服务默认使用嵌入 PostgreSQL数据库.当你安Ambari麻服务器,PostgreSQL软件包和依赖关系必须提供安装这些软件包通常可作为你的操作系统库。请确认你有合适的可用于PostgreSQL服务器软件包库
当你继续你的安装软件,基于你的基础平台。
2.1.1. RHEL/CentOS/Oracle Linux 5.x
1.确定库是通过检查回购列表配置。
yum repolist
你应该看到Ambari和HDP共用库在列表中。
2.使用yum安装 Ambari bits.这也同时安装了 PostgreSQL
2.1.2. RHEL/CentOS/Oracle Linux 6.x
与上略同
2.1.3. SLES 11
与上略同
2.2.设置服务
Ambari-服务 命令管理安装过程。运行以下命令和对应提示:
ambari-server setup
1.如果你暂时没有禁用SELinux,你可能会得到一个警告。输入y继续。
2.默认情况下,Ambari服务在root下运行。如果你想要创建不同的用户来运行Ambari服务,或指定以前创建的用户,在自定义选择Y用户帐号ambari-service守护进程,然后提供一个用户名的提示。
3.如果你没有暂时禁用防火墙你可能得到一个警告。输入y继续。
4。下载JDK version to select。JDK下载Oracle的输入1到1.7。
注:
默认情况下,Ambari服务计划下载并且安装ORacle JDK1.7.如果你计划使用不同版本的JDK看到更多的设置选项信息。
5。同意Oracle JDK许可时问。你必须接受该许可能从Oracle下载必要的JDK。JDK安装在部署阶段。
6。在进入先进的数据库配置:
•使用默认的PostgreSQL数据库,命名为Ambari,使用默认的用户名和密码(Amabri/bigdata),输入N。
重要的:
如果你正在使用一个现有的PostgreSQL,MySQL或Oracle数据库实例,运行安装之前你必须是按是按使用步骤详细准备利用非Database-Ambarim默认数据库.
•使用Oracle 11g R2的一个现有的数据库实例和选择自己的名称,用户数据库的名称和密码的那,输入2。
选择您想使用的数据库提供的信息和所需的任何提示,包括主机名、端口、服务名称或用户名称和密码,SID。
•使用现有的MySQL 5。x数据库,并选择你自己的数据库的名称,用户该数据库名称和密码,请输入3。
选择您想使用的任何信息,并提供所需的数据库提示,包括主机名,端口,数据库名称,用户名,和密码。
•使用现有的PostgreSQL 9。x数据库,并选择你自己的数据库的名称,用户该数据库名称和密码,请输入4。
选择您想使用的任何信息,并提供所需的数据库提示,包括主机名,港口,数据库名称,用户名,和密码。
7。安装完成。
注:
如果您的主机通过代理上网的服务器,您必须配置Ambari服务器使用这个代理服务器。看到Ambari服务器配置更多信息的网络代理。
2.2.1. 设置选项
下表描述了常用的Ambari服务器设置选项。
table
2.3.启动Ambari服务
*启动Ambari服务
ambari-server start
*•检查Ambari服务器进程:
ambari-server status
*停止Ambari服务
ambari-server stop
注:
如果你打算使用现有的数据库实例 Hive/HCatalog 或Oozie,在你安装Haooop集群之前你必须完成准备描述使用 Non-Default Databases。
下一步
安装,部署和配置HDP集群
3。安装,配置,和部署HDP集群
本节介绍了如何使用Ambari安装向导运行在您的浏览器安装,配置,和部署你的hortonworks数据平台(HDP)集群。
•登录到Apache Ambari
•命名您的集群
•选择堆栈
•安装期权
•确认主机
•选择服务
•分配masters
•分配奴隶和客户端
•customize服务
•评论
•安装、启动和测试
•完整
3.1。登录到Apache Ambari
启动Ambari后,使用浏览器访问Ambari
1. Point your browser to http://{your.ambari.server}:8080.
2。登录到使用默认的用户名/密码的Ambari服务器管理员/管理员。你以后可以更改这些凭据。
3.2.命名你的集群
一个新的群集,该国安装向导将显示欢迎页中,您定义群集名称。
1.在你命名集群时,输入一个名称为要创建的集群。在名称中不能使用空格跟特殊字符。
2.选择下一步
3.3。选择版本
服务版本(the Stack)协调和测试集HDP组件。使用单选按钮选择你想安装的Satck版本。安装HDP2x stack,选择HDP2.1或2.0单选按钮。
table
下面的Advanced Repoaltory Optlons你可以选择一个库的基URL这个协议stack软叫包下载,Ambari集以下,默认库网址,根据互联网连接可用的Ambari服务器主机:
•有互联网连接Ambari服务器主机,Ambari集库网址最新版本补丁的HDP stack。一个Ambari服务器有没有互联网连接,该库的URL违约的最新补丁的发布在洋Ambari放时间可用的版本。
•可以覆盖与早期的补丁发布HDP satck库的URL如果你想安装一个给定的HDPstack版本特定补丁。例如,HDP 2.1栈将默认为HDP 2.1叠补丁3,或hdp-2.1.3。如果你要安装2.1补丁发布2 HDP stack,或hdp-2.1.2相反,获取知识库从HDP stack文件的URL。
•如果你使用本地存储库,看看可选:配置本地库Ambari为基地的网址,请在这里输入使用本地库而不是公众主持HDP stack库。
table
注:
用户界面显示库的URL基于操作系统(OS的家庭家庭)。一定要基于操作系统的正确操作系统家族您正在运行。下表将操作系统的家庭作业系统。
table
3.4.安装选项。
为了建立集群,安装向导需要知道的一般信息你想怎么设置。你需要提供你的每个主机FQDN。向导还需要访问您创建的密码设置较少的SSH私有密钥文件。使用主机名称和密钥文件信息,向导可以查找,访问,并安全地互动集群中的所有主机。
1。利用目标主机的文本框中输入您的主机的主机名的列表,每行一个。你可以使用范围内的括号标明较大的主机组。例如,对于host01.domain通过host10.domain使用主机[ 01-10].aomain。
注:
如果你部署在EC2上,使用内部私有DNS主机名。
2。如果你想让Ambari在你所有的主机使用自动安装洋Ambari 使用 SSH,选择提供您的SSH私钥,或者使用选择文件按钮主机注册信息部分找到匹配的私钥文件公钥你之前安装的所有您的主机或剪切并粘贴到文本的关键手工盒。
注:
如果你使用的是IE9 ,选择文件可能不能使用。使用文本盒手动剪切到你的私钥中。
选择填写的用户名的SSH密钥。如果你不想使用root,你必须能够执行sudo没有进入一个帐户提供的用户名称一个密码。
3。如果你不想Ambari自动安装Ambari Agents,选择执行手动注册。请参阅安装Ambari代理手动的更多信息。
4。选择注册确认继续。
3.5。确认主机
确认主机会提示您确认Ambari已位于您正确的主机集群和检查这些主机以确保他们有正确的目录,包,需要继续安装过程。
如果任何主机在错误的选择,你可以通过选择适当的删除它们复选框并单击灰色删除选定的按钮。删除单个主机,请单击白色的小按钮在动作栏。
在屏幕的底部,你可能会注意到一个黄色的盒子,表明一些警告在检查过程中遇到的。例如,你可能已经有了一份wget或curl。选择点击这里看到的警告,查看是什么检查什么引起的警告。警告网页还提供了访问Python脚本,可以帮助你明确你可能会遇到让你运行运行检查的任何问题。
重要的:
如果你使用Ambari 1.4或之后的版本部署HDP在RHEL6.5上,你可能会看到Ambari Agents无法注册Ambari服务在“确认主机群集安装向导”步骤,单击“失败”的链接向导页显示代理日志。下面的日志条目指示在注册代理和服务器之间的SSL连接失败:
INFO 2014-04-02 04:25:22,669 NetUtil.py:55 - Failed
to connect to https://<ambari-server>:8440/cert/ca due
to [Errno 1] _ssl.c:492: error:100AE081:elliptic curve
routines:EC_GROUP_new_by_curve_name:unknown group
有关此问题的更多信息,见Ambari的故障排除指南。
当你满意的主机列表,选择下一个。
3.6。选择服务HDP包括许多服务。您必须安装HDFS和管理员服务。你可能选择安装其他任何可用的服务,或稍后添加服务。安装向导选择默认安装所有可用的服务。
1。选择不清除所有的选择,或选择来选择所有上市的服务。
2。选择或清除复选框来定义一组个人服务现在安装。
注:
使用Ambari监测群集,您必须选择Nagios和Ganglia。不选择这些服务会生成一条警告消息,当你完成这一部分。如果您监控您的集群使用其他工具,忽视警告。
3。在选择要安装的服务现在,下一个选择。
3.7.指定Masters
该Ambari安装向导分配给选定的服务主成分适当的主机群集和显示任务分配的主人。的左栏显示当前主机服务和。右栏显示当前的主人组件分配由主机,显示CPU内核和内存量数每台主机上安装。
1.要改变一个服务的主机分配,从下拉列表中选择一个主机名这一服务菜单。
2.删除Zookeeper,点击绿色的减号图标旁边的主机地址你要删除。
3。当你满意的作业,下一个选择。
3.8. 分配 Slaves and Clients
该Ambari安装向导指定slave成分(datanode,nodemanagers,和regionservers)在集群中相应的主机。它也试图选择主机安装客户的适当的设置。
1.选择所有或者none选择所有在主机列中或选择none主机,分别的。
如果主机有一个红色的星号旁边,主机也运行一个或多个主组件。鼠标悬停在星号查看主成分主机上的。
2。微调您的选择使用复选框的特定主机。
注:
作为一个选项,你可以开始HBase REST后手动安装服务器过程是完整的。如果你尝试在相同的主机Ambari的服务器,不过,你需要用-p选项启动它,为它的默认端口是8080,和Ambari网站默认端口冲突。
/usr/lib/hbase/bin/hbase-daemon.sh start rest -p
<custom_port_number>
3。当你满意你的作业,下一个选择。
3.9。定制服务
公司介绍(自定义设置你的标签,让你管理配置设置适当的程序组件。合理的默认值是每一套的向导的选项在这里,但你可以用这个标签来设置调整这些设置。强烈鼓励你这样做,你的要求可能会有点不同。特别注意将支付建议的安装目录。
注:
在HDFS服务配置一般,确保输入一个整数值,在字节,设置HDFS最大日志大小的检查点编辑。一个典型的值为500000000。
移动你的鼠标到每个属性来看到一个简短的描述它的。你看到的标签的数量是根据安装你已经决定做的类型。一个典型的安装有至少十组配置属性和其他相关选项,如hive/HCat与Oozie数据库设置,管理员的用户名/口令,和对于Nagios提醒邮件。
安装向导设置所有性能除与合理的缺省值在hive中的数据库和Oozie标签,和两个相关的特性在Nagios标签。这四个标记为红色,你必须把你自己唯一的。单击名称在每个选项卡展开和折叠显示组
有关特定HDP stack定制特定服务的更多信息,参见定制HDP服务。
3.10。回顾
显示你的作业。检查以确保一切是正确的。如果你需要作出改变,使用左侧的导航栏上返回适当的屏幕。
打印您的信息供以后参考,选择打印。
当您满意您的选择,选择部署。
3.11。安装,启动和测试
安装的进度显示在屏幕上。每个组件的安装和启动一个简单的测试运行的组件。你是在过程的一个整体的状况在屏幕上方的进度条,在主要部分由主机状态主机。
看到具体的信息是什么任务已完成每个主机,点击为相应的主机的信息栏。在弹出的任务,单击“个人任务看到相关的日志文件。你可以通过显示下拉选择过滤条件列表。看到一个更大的版本的日志内容,请单击“打开”图标或复制的内容复制到剪贴板,使用复制图标。
当成功安装和启动服务的出现,下一个选择。
3.12。完整的
摘要页提供你一个完成的任务清单。选择完整的。AmbariWeb GUI显示。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/运维做开发/article/detail/743322
推荐阅读
article
了解
spring
-
boot
-
starter
_
spring
-
boot
-
starter
-
data
-sol...
SpringBoot提供了针对日常企业应用研发各种场景的
spring
-
boot
-
starter
自动配置 依赖模块,如此多...
赞
踩
article
HBase
数据压缩
Column
family
Compress
& Data
Block
Enco...
说到
HBase
数据压缩
,在
HBase
中有两种方式可以达到该目的,一个就是column
family
的compress,H...
赞
踩
article
完美解决
Permission
Error
:
[
Errno
13]
Permission
denied
:
...
这个错误通常是由于缺少对文件或目录的读写权限导致的。_permissionerror
:
[errno 13] permi...
赞
踩
article
解决
Permission
Error: [Errno 13]
Permission
denied
: '...
1.问题描述 最近在跑github上的一个DCGAN(Deep Convolutional Generative Adv...
赞
踩
article
动手
学习
深度
学习
李沐
PermissionError
: [
WinError
5] 拒绝访问。:
‘
....
本文讲述了在
学习
深度
学习
过程中遇到的
PermissionError
问题,通过将代码中的
‘
../
data
’路径改为
‘
./d...
赞
踩
article
成功解决
Permission
Error: [
Errno
13]
Permission
denied
:...
成功解决
Permission
Error: [
Errno
13]
Permission
denied
: './
data
\\...
赞
踩
article
开源物
联网
平台
和
智能家居
平台
_
kaa
iot
platform
...
物
联网
平台
主要是数据管理,设备管理,规则引擎等等,通常都支持各种相关协议,不过数据可视化与多租户功能不是都有,甚至多租户...
赞
踩
article
【EI会议征稿通知】第四届大
数据
、
人工智能
与
风险管理
国际学术会议 (ICBAR 2024)_
i
nte...
大会由四川省
人工智能
学会、中国民用航空飞行学院联合主办,中国民航飞行学院计算机学院、中国民航飞行学院理学院、吉隆坡大学、...
赞
踩
article
big
data
...
禁止转载 我所遇见的世界会更美好HBase shell 、写和读HDFS、HBase建表、编程、开启debug模式使用H...
赞
踩
article
运维(17)
OHTTPS
配置
免费证书及
宝塔
网站
管理
配置
_clear-site-
data
...
文章目录一、前言二、
OHTTPS
配置
免费证书1、创建证书2、域名解析
配置
3、验证解析记录4、查看证书三、
宝塔
网站
管理
配置
...
赞
踩
article
Clear
Site
Data - 可以清除单个站点缓存的浏览器插件_
clear
-
site
-
data
...
正如文章开头说的那样,我们只是想清除单个站点的缓存!首先我们访问对应网站,然后点开插件,此时就会出现清除当前站点的选项,...
赞
踩
article
论文阅读笔记(三十一):
Data
Distillation
: Towards
Omni
-Superv...
We investigate omni-supervised learning, a special regime of...
赞
踩
article
Spring
Data
Neo4j
中文文档_
neo4j
官方文档...
Spring
Data
Neo4j
中文文档_
neo4j
官方文档
neo4j
官方文档 ...
赞
踩
article
spring
data
neo4j
中
节点
实体
之间的
关系
在代码中怎样维护...
2019独角兽企业重金招聘Python工程师标准>>> ..._
spring
-
data
-neo4...
赞
踩
article
Spring
Data
Neo4j
: 带你进入
图
数据库
的
世界...
Spring
Data
Neo4j
: 带你进入
图
数据库
的
世界
Spring
Data
Neo4j
(SDN) 是一个用于简...
赞
踩
article
spring
boot深入实践-
2.4
Neo4j
数据库
详解_
spring
-
data
-
neo4j
rel...
文章目录
2.4
Neo4j
2.4
.1
Neo4j
依赖配置
2.4
.2 节点和关系实体建模
2.4
.3 节点实体持久化
2.4
....
赞
踩
article
图数据库
Neo4j
学习四
Spring
Data NEO_
spring
-boot-starter-da...
neo4j
和
Spring
Boot集成,介绍
Spring
Data NEO的快速入门,以及常用的方法介绍_
spring
-...
赞
踩
article
spring
-
data
-
neo4j
使用和总结
_
spring
集成
neo4j
动态
传参
...
上一篇博客写了
neo4j
的下载安装以及简单的使用,这篇主要写在开发的时候遇到的一些坑和问题,同时也是自己的一个总结。首先...
赞
踩
article
Spring
Data
Neo4j
注解_
neo4j
@
relationship
...
@NodeEntity( 有点类似于Mysql中的table 映射的对象类,mysql中叫做ORM,
neo4j
中叫做OG...
赞
踩
article
spring
-data-
neo4j
了解...
本项目demo地址【请阅读readme文件】:https://gitee.com/LiuDaiHua/project-n...
赞
踩
相关标签
spring boot
HBase
数据压缩
Compress
Encoder
python
开发语言
DCGAN
Tensorflow
机器学习
人工智能
深度学习
pytorch
物联网
网络协议
大数据
图像处理
自动化
数据库
shell
java
https
nginx
OHTTPS