当前位置:   article > 正文

CDH6.3.2集群搭建笔记_cm6.3.2升级spark

cm6.3.2升级spark

CDH6.3.2集群搭建笔记

集群概述

环境搭建

IP配置
# 需要配置下面内容
HWADDR=00:0c:29:c8:3f:c4
IPADDR=192.168.1.101
GATEWAY=192.168.1.9  # 与vmware--编辑--虚拟网络编辑器--vmnet8-net设置--网关IP保持一致
NETMASK=255.255.255.0
DNS1=114.114.114.114
DNS2=8.8.8.8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
配置yum
# 没有wget命令可先安装该命令
yum -y install wget
# 备份
cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# 下载aliyun镜像
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 清除系统所有的yum缓存
yum clean all 
# 生成yum缓存
yum makecache 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
配置JDK
# cm提取的jdk环境默认是在/usr/java,因此上传jdk.gz到/usr/java/
# 解压
tar -zxvf jdk.gz
# 修改/etc/profile,添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
# 配置生效
source /etc/profile
# 验证配置是否成功,出现jdk版本即成功
java -version 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
免密登录
# 生成公钥,每个节点都执行
ssh-keygen -t rsa
# 将公钥追加到authorized_keys  文件
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 将authorized_keys发送给第二个机器,确保每个机器上都有所有机器的公钥
scp /root/.ssh/authorized_keys hadoop02:/root/.ssh/
# 将hadoop02公钥追加到authorized_keys  文件
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 将authorized_keys发送给第三个机器,确保每个机器上都有所有机器的公钥
scp authorized_keys hadoop03:/root/.ssh/
......
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
关闭SeLinux
# 所有机器都需要关闭selinux
# 执行getenforce指令查看selinux状态,如果输出为:enforcing,则需要处理一下,否则可以跳过这一步。
# 修改/etc/selinux/config文件(在某些系统中,可能是/etc/sysconfig/selinux文件),将SELINUX=enforcing修改为SELINUX=disabled
# 更新配置之后要重启服务器生效,或者执行:setenforce 0,使其立即生效。
# 注意:也可以使用sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
  • 1
  • 2
  • 3
  • 4
  • 5
设置swap空间、关闭大页面压缩(所有节点)——性能考虑
# 1.swap空间设置
swappiness=0# 表示最大限度使用物理內存,之后才是swap空间;
swappiness=100# 表示积极使用swap分区,並且把內存上的数据及时转移到swap空间;
# 如果是混合服务器,不建议完全禁用swap,可以尝试降低swappiness。

#Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10(也有说改为0的,Cloudera建议将交换空间设置为0,过多的交换空间会引起GC耗时的激# 增。)。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
echo 10 > /proc/sys/vm/swappiness
#这样操作重启机器还是还原,要永久改变:
echo "vm.swappiness = 10" >> /etc/sysctl.conf

# 2.已启用透明大页面压缩,可能会导致重大性能问题,建议禁用此設置。
# 调整:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
NTP服务安装和设置
# 安装NTP(所有节点)
yum -y install ntp
# Manager节点:设置指向NTP服务器,如果局域网内有时间服务器,可以指向时间服务器(manager节点-cdh01)
vi /etc/ntp.conf
注释掉之前的server,然后添加以下NTP服务器
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server http://ntp.aliyun.com
# 其他节点
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server hadoop01
# 重新启动 ntp 服务和设置开机自启(所有节点):
service ntpd restart
systemctl enable ntpd.service

# 查看和测试:
ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
ntpq -p #查看当前同步的时间服务器
ntpstat #查看状态定时同步crontab
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
安装httpd
# 安装
yum install httpd
# 启动
service httpd start
#开机自启
systemctl enable httpd 或者 chkconfig httpd on

# 将端口号修改为:6789 (可选项操作,默认是80,这里使用默认的端口)
vi /etc/httpd/conf/httpd.conf
增加/修改端口号如下:
Listen 6789
# 可以在浏览器输入http://hadoop01:6789/ 访问成功则安装完毕
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
CM安装
# 创建文件夹
mkdir /var/www/html/cm6
mkdir /var/www/html/cdh6

# 准备cm6如下安装包,放置在/var/www/html/cm6
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
allkeys.asc

# 在/var/www/html/cm6 创建yum源的描述meta
createrepo .
 
# 准备cdh如下安装包,放置在/var/www/html/cdh6
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json

# 配置yum源
vi /etc/yum.repos.d/cm.repo
# 追加一下内容:
[CM]
name=cm6
baseurl=http://hadoop01:6789/cm6/
gpgcheck=0

# 查看yum配置源是否生效
yum clean all
yum repolist

# 安装cloudera-manager和agent(hadoop01)
yum install -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
安装MySQL数据库
# 下载rpm安装包:https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar
# 安装包解压后放置在:/usr/local/mysql
# 依次执行命令:
rpm -ivh mysql-community-common-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.37-1.el7.x86_64.rpm
# 若报错需要net-tools,则使用命令安装:
yum install net-tools.x86_64
# 常用mysql 命令
systemctl start mysqld
systemctl stop mysqld
netstat -tulnp | grep mysqld  #端口是3306
ps auxf | grep mysqld
[面向傻瓜式安装教程](https://blog.csdn.net/weixin_42404474/article/details/105077368)
# 将连接jar包重命名为mysql-connector-java.jar分发到所有机器:/usr/local/share/java
# 初始化MySQL:创建scm数据库,用户是root,密码自己设置
scm_prepare_database.sh mysql -h localhost -uroot -pWasd1234% --scm-host localhost scm root Wasd1234%
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
启动CM
1.启动Cloudera Manager(cdh01)
#启动
systemctl start cloudera-scm-server
# 查看启动日志,见Started ServerConnector@13905837{HTTP/1.1,[http/1.1]}{0.0.0.0:7180} 则启动成功
# 该命令报错:找不到日志文件则使用:journalctl -xe 查看报错信息
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
# 设置开机自启,可以但没必要
systemctl enable cloudera-scm-server
2.启动Cloudera Agent(所有节点)
#启动
systemctl start cloudera-scm-agent
#开机自启,可以但没必要
//systemctl enable cloudera-scm-agent

# 可以访问http://hadoop01:7180 进行组件服务的安装操作了
# 用户名/密码: admin/admin

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/不正经/article/detail/625446
推荐阅读
相关标签
  

闽ICP备14008679号