搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
爱喝兽奶帝天荒
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
Python实现C4.5算法
2
k8s 证书更新
3
[YOLO] YOLO介绍,YOLOv1~YOLOv8版本变更,每个版本的特点介绍_yolo版本越高越好吗
4
有关OpenBSD, NetBSD, FreeBSD -- 与GPT对话_freebsd netbsd openbsd
5
【ZYNQ】从入门到秃头05 LED闪烁实验 && 按键控制LED实验Verilog(PL)_verilog写按键按下去后led闪烁
6
【学习笔记】前端MD5加密、后端MD5加密,实现登录页面的加密方法_md5加密html
7
rabbitmq源码分析队列结构,详细解说_rabbitmq 源码
8
外包测试: 利润高达35%_软件外包行业利润率
9
夸克AI PPT初体验:一键生成大纲,一键生成PPT,一键更换模板!
10
【C#】IndexOf的使用_c#中indexof的用法
当前位置:
article
> 正文
virtualbox centos6.5 ambari1.7 单机安装hdp2.2相关笔记_virtualbox安装hdp登录
作者:爱喝兽奶帝天荒 | 2024-06-19 15:36:27
赞
踩
virtualbox安装hdp登录
一.相关资源:
CentOS-6.5-x86_64-bin-DVD1.iso
Ambari-1.7.0
HDP-2.2.0.0
HDP-UTILS-1.1.0.20
jdk-7u71-linux-x64.tar.gz
二.环境准备
centos6.5 mini安装
hostname 符合 Fully Qualified Domain Name 规则,如:
ambari-server.hdp
不符合在ambari配置时会有警告,但也能安装
配置hosts,加入:
192.168.137.116
ambari-server.hdp
jdk安装
解压缩jdk-7u71-linux-x64.tar.gz,扔/opt/java里
配置/etc/profile,加入:
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH
让配置生效,执行
source /etc/profile
设置进程打开的文件句柄数量的限制(ulimit), 建议大于10000
修改/etc/security/limits.conf
* soft nofile 32768
* hard nofile 65536
soft为警告, hard为限制
ssh免鉴
执行: ssh-keygen
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
启动ntpd服务
yum install ntpd
chkconfig —list ntpd
chkconfig ntpd on
关闭iptables
chkconfig iptables off
/etc/init.d/iptables stop
关闭selinux
在/etc/selinux/config中设置
SELINUX=disabled
关闭packagekit
在/etc/yum/pluginconf.d/refresh-packagekit.conf中设置
enabled=0
设置umask
在/etc/profile中设置
umask 022
三.建立本地yum源
安装相关服务
yum -y install yum-utils createrepo yum-plugin-priorities httpd
在/etc/yum/pluginconf.d/priorities.conf中设置
[main]
enabled=1
gpgcheck=0
设置httpd
chkconfig httpd on
service httpd start
下载相关资源
http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.2.0.0-centos6-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz
解包并移动到/var/www/html/目录下
配置yum.repo.d/ambari.repo如下:
[CentOS65-Media]
name=CentOS6-Media
baseurl=http://192.168.137.116/centos65
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
[Ambari-1.7.0]
name=Ambari-1.7.0
baseurl=http://192.168.137.116/ambari/centos6/1.x/updates/1.7.0
gpgcheck=0
enabled=1
[HDP-2.2.0.0]
name=HDP-2.2.0.0
baseurl=http://192.168.137.116/hdp/HDP/centos6/2.x/GA/2.2.0.0
gpgcheck=0
enabled=1
[HDP-UTILS-1.1.0.20]
name=HDP-UTILS-1.1.0.20
baseurl=http://192.168.137.116/hdp/HDP-UTILS-1.1.0.20/repos/centos6
gpgcheck=0
enabled=1
访问http服务
http://192.168.137.116/ambari/centos6/1.x/updates/1.7.0/ambari.repo
如果没关selinux,会遇到403错误
安装ambari-server, 依赖postgresql
yum install ambari-server
配置ambari-server
ambari-server setup
配置JDK时,选3,自定义JDK路径,输入/opt/java
配置数据库时用默认的postgresql,自动建库,库名ambari,用户/密码 ambari/bigdata
也可以用mysql,好像要准备mysqljdbc的包
启动ambari-server
ambari-server start
访问192.168.137.116:8080
admin/admin
先写流程,等有时候再配图
1.给cluster起名
2.选择stack, 这里选hdp2.2,下面有一个Advanced Repository Options,
如果用的上面的repo文件,所有设置都取消,否则可以在redhat6输入本地yum源的HDP和HDP-UTILS的URL
3.输入hosts,这里就一个输入ambari-server.hdp, 上传id_rsa文件
4.显示agent安装,遇到访问https://xxx:8440/ca错误的 升级openssl, agent安装成功后,下面有一个警告列表,把有问题的解决,THP的看下面的遇到问题3
5.选择要安装的服务
6.选择masters
7.选择slaves
8.自定义配置
9.review
10.开始安装
11.完成
可以查看Dashboard了
遇到问题:
1.selinux开启 导致本地yum源访问403
2.centosos6.5 openssh 版本bug 导致 agent安装失败
解决 yum upgrade openssl
3.关闭 THP(Transparent HugePages )
Add the following lines in /etc/rc.local and reboot the server:
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
参考
http://www.toxingwang.com/hadoop/hadoop-hadoop/2429.html
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/736925
推荐阅读
article
配置
MDM
的
描述
文件...
配置
描述
文件首先需要一个
MDM
配置
描述
文件,此文件用于安装到设备上,使其向
MDM
服务器注册为受管理的设备。1、凭...
赞
踩
article
超详细的
Python
爬虫
案例
讲解分享(附源码)_
python
爬虫
电影
代码...
以下是本
案例
代码,把User-Agent、Accept、Accept-Language、Accept-Ecoding、C...
赞
踩
article
【自
学
记录7】【Pytorch2.0
深度
学
习
从零开始
学
王晓华】第七章 实战
ResNet
_pytor...
遇到的问题:在PyTorch中,nn.ReLU(inplace=True)中的inplace=True参数表示该ReLU...
赞
踩
article
MySQL8.0
安装
教程
(很
详细
)...
本文介绍了Mysql8.0的
安装
过程_mysql8.0
安装
教程
mysql8.0
安装
教程
...
赞
踩
article
C++
实践多目标跟踪
ByteTrack
_
bytetrack
c++
...
C++
实践多目标跟踪
ByteTrack
flyfish论文《
ByteTrack
: Multi-Object Trackin...
赞
踩
article
解码
策略...
贪心核心思想: 每一步取当前最可能的结果,作为最终结果具体方法:获得新生成的词是vocab中各个词的概率,取argmax...
赞
踩
article
2021年
危险
化学品
经营
单位
主要
负责
人
最新解析及
危险
化学品
经营
单位
主要
负责
人
考试试卷_王某为某
危险
化...
题库来源:安全生产模拟考试一点通公众号小程序安全生产模拟考试一点通:
危险
化学品
经营
单位
主要
负责
人
最新解析考前必练!安全生...
赞
踩
article
《
Python
+
Kivy
(
App
开发)从入门到实践》自学笔记:高级
UX
部件
—
—
Bubble
气泡
_ki...
《
Python
+
Kivy
(
App
开发)从入门到实践》自学笔记:高级
UX
部件
—
—
Bubble
气泡
_
kivy
手机界面种类k...
赞
踩
article
2004
中国
经理
人
痛苦
榜:IT
人
痛苦
指数
最高_
人
的
痛苦
指数
...
经理
人
痛苦
指数
调查今年已经进行到第三个年头,了解
经理
人
的
痛苦
问题,已经成为当前企业以及社会各界
的
热点话题。对于
经理
人
,特...
赞
踩
article
【
架构师
之路】《
MySQL
教程》
数据
表
设计规范
_
mysql
表
设计规范
...
实际工作中,只要遵循数据库设计第三范式要求即可,
数据
表
的良好设计可以为今后更复杂的业务逻辑减少不必要的麻烦,适当反范式化...
赞
踩
article
IDEA
中
使用
SVN
,
每一步骤都有配图_
idea
svn
登录...
IDEA
中
使用
SVN
,
步步配图。解决
SVN
提交不成功问题_
idea
svn
登录
idea
svn
登录 ...
赞
踩
article
OpenCV3
基础——几种基本
的
图像处理
_
opencv
确认
图像文件
名称
是否正确...
虽然单单要做车牌号识别
的
话不需要特别多种类
的
图像处理
,但是我们不能只是为了这么一个目标去学习,所以这次就讲一些OpenC...
赞
踩
article
阿里
物联网套件-
设备
端
SDK
学习实践(C版-
Linux
-
MQTT
)_
linux
c
树莓派
mqtt
...
设备
端快速接入(
MQTT
)准备工作1.一个运行
Linux
系统的
设备
(或者虚拟机),本人使用raspbian系统的树莓派B...
赞
踩
article
《
玩
不够
的
数学
:算术与
几何
的
妙趣
》:第一章 平面上
的
几何
艺术
_
玩
不够
的
数学
:算术与
几何
的
妙趣
...
第一章 平面上
的
几何
艺术
人们往往从悖论中获得思维
的
乐趣,而
几何
学
的
悖论就是不可能图形。如今我们已创造出数千种这样
的
二维图...
赞
踩
article
matlab
分词
NLP
,
自然语言
处理
NLP
分词
篇...
自然语言
处理
NLP
分词
篇
自然语言
处理
NLP
【
分词
篇】
NLP
简介和三种
分词
模型
NLP
逐渐成为人工智能一大热点研究方向,目前...
赞
踩
article
带你一起分析
cut
the
rope
(切
绳子
游戏)中
绳子
的
制作方法
_
cocoscreator
割
绳子
...
Box2D通过关节实现
绳子
效果_
cocoscreator
割
绳子
cocoscreator
割
绳子
...
赞
踩
article
pytorch
学习之
nn
.
Embedding
和
nn
.
Embedding
Bag...
从基础的
nn
.
Embedding
说起:CLASS torch.
nn
.
Embedding
(num_embeddings, ...
赞
踩
article
机器
学习
计算
题——
svm
支持向量机
_
svm
计算
例题
...
引入一点高中的线性规划,我在接下来的题目确实可以用这种思想
计算
,并且非常快得到答案。
_
svm
计算
例题
svm
计算
例题
...
赞
踩
article
推荐项目:
Stable
Diffusion
WebUI -
WD14
Tagger
...
推荐项目:
Stable
Diffusion
WebUI -
WD14
Tagger
项目地址:https://gitcod...
赞
踩
article
linu
x
centos
上
安装
python3.11
.
x
详细完整教程_
linu
x
安装
python3....
这篇文章是关于在Linu
x
CentOS上
安装
Python 3.11.
x
的详细教程,其中包括
安装
步骤和解决报错的方法。文...
赞
踩
相关标签
移动开发
爬虫
python
深度学习
人工智能
mysql
数据库
java
windows
多目标跟踪
bytetrack
c++
自然语言处理
前端
kivy
工作
生活
活动
体育
化工
旅游
设计规范
intellij-idea
svn
OpenCV