CDH6.3.2集群搭建笔记_cm6.3.2升级spark

CDH6.3.2集群搭建笔记

集群概述

环境搭建

IP配置

# 需要配置下面内容
HWADDR=00:0c:29:c8:3f:c4
IPADDR=192.168.1.101
GATEWAY=192.168.1.9  # 与vmware--编辑--虚拟网络编辑器--vmnet8-net设置--网关IP保持一致
NETMASK=255.255.255.0
DNS1=114.114.114.114
DNS2=8.8.8.8
1
2
3
4
5
6
7

配置yum源

# 没有wget命令可先安装该命令
yum -y install wget
# 备份
cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# 下载aliyun镜像
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 清除系统所有的yum缓存
yum clean all 
# 生成yum缓存
yum makecache 
1
2
3
4
5
6
7
8
9
10

配置JDK

# cm提取的jdk环境默认是在/usr/java，因此上传jdk.gz到/usr/java/
# 解压
tar -zxvf jdk.gz
# 修改/etc/profile,添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
# 配置生效
source /etc/profile
# 验证配置是否成功,出现jdk版本即成功
java -version 
1
2
3
4
5
6
7
8
9
10
11

免密登录

# 生成公钥，每个节点都执行
ssh-keygen -t rsa
# 将公钥追加到authorized_keys  文件
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 将authorized_keys发送给第二个机器，确保每个机器上都有所有机器的公钥
scp /root/.ssh/authorized_keys hadoop02:/root/.ssh/
# 将hadoop02公钥追加到authorized_keys  文件
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 将authorized_keys发送给第三个机器，确保每个机器上都有所有机器的公钥
scp authorized_keys hadoop03:/root/.ssh/
......
1
2
3
4
5
6
7
8
9
10
11

关闭SeLinux

# 所有机器都需要关闭selinux
# 执行getenforce指令查看selinux状态，如果输出为：enforcing，则需要处理一下，否则可以跳过这一步。
# 修改/etc/selinux/config文件（在某些系统中，可能是/etc/sysconfig/selinux文件），将SELINUX=enforcing修改为SELINUX=disabled
# 更新配置之后要重启服务器生效，或者执行：setenforce 0，使其立即生效。
# 注意：也可以使用sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
1
2
3
4
5

设置swap空间、关闭大页面压缩（所有节点）——性能考虑

# 1.swap空间设置
swappiness=0：# 表示最大限度使用物理內存，之后才是swap空间；
swappiness=100：# 表示积极使用swap分区，並且把內存上的数据及时转移到swap空间；
# 如果是混合服务器，不建议完全禁用swap，可以尝试降低swappiness。

#Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10（也有说改为0的，Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激# 增。）。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
echo 10 > /proc/sys/vm/swappiness
#这样操作重启机器还是还原，要永久改变：
echo "vm.swappiness = 10" >> /etc/sysctl.conf

# 2.已启用透明大页面压缩，可能会导致重大性能问题，建议禁用此設置。
# 调整：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
1
2
3
4
5
6
7
8
9
10
11
12
13
14

NTP服务安装和设置

# 安装NTP（所有节点）
yum -y install ntp
# Manager节点：设置指向NTP服务器，如果局域网内有时间服务器，可以指向时间服务器（manager节点-cdh01）
vi /etc/ntp.conf
注释掉之前的server，然后添加以下NTP服务器
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server http://ntp.aliyun.com
# 其他节点
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server hadoop01
# 重新启动 ntp 服务和设置开机自启（所有节点）：
service ntpd restart
systemctl enable ntpd.service

# 查看和测试：
ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
ntpq -p #查看当前同步的时间服务器
ntpstat #查看状态定时同步crontab
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

安装httpd

# 安装
yum install httpd
# 启动
service httpd start
#开机自启
systemctl enable httpd 或者 chkconfig httpd on

# 将端口号修改为：6789 (可选项操作，默认是80，这里使用默认的端口)
vi /etc/httpd/conf/httpd.conf
增加/修改端口号如下：
Listen 6789
# 可以在浏览器输入http://hadoop01:6789/ 访问成功则安装完毕
1
2
3
4
5
6
7
8
9
10
11
12

CM安装

# 创建文件夹
mkdir /var/www/html/cm6
mkdir /var/www/html/cdh6

# 准备cm6如下安装包，放置在/var/www/html/cm6
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
allkeys.asc

# 在/var/www/html/cm6 创建yum源的描述meta
createrepo .
 
# 准备cdh如下安装包，放置在/var/www/html/cdh6
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json

# 配置yum源
vi /etc/yum.repos.d/cm.repo
# 追加一下内容：
[CM]
name=cm6
baseurl=http://hadoop01:6789/cm6/
gpgcheck=0

# 查看yum配置源是否生效
yum clean all
yum repolist

# 安装cloudera-manager和agent（hadoop01）
yum install -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

安装MySQL数据库

# 下载rpm安装包：https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar
# 安装包解压后放置在：/usr/local/mysql
# 依次执行命令：
rpm -ivh mysql-community-common-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.37-1.el7.x86_64.rpm
# 若报错需要net-tools，则使用命令安装：
yum install net-tools.x86_64
# 常用mysql 命令
systemctl start mysqld
systemctl stop mysqld
netstat -tulnp | grep mysqld  #端口是3306
ps auxf | grep mysqld
[面向傻瓜式安装教程](https://blog.csdn.net/weixin_42404474/article/details/105077368)
# 将连接jar包重命名为mysql-connector-java.jar分发到所有机器：/usr/local/share/java
# 初始化MySQL：创建scm数据库，用户是root,密码自己设置
scm_prepare_database.sh mysql -h localhost -uroot -pWasd1234% --scm-host localhost scm root Wasd1234%
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

启动CM

1.启动Cloudera Manager(cdh01)
#启动
systemctl start cloudera-scm-server
# 查看启动日志，见Started ServerConnector@13905837{HTTP/1.1,[http/1.1]}{0.0.0.0:7180} 则启动成功
# 该命令报错：找不到日志文件则使用：journalctl -xe 查看报错信息
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
# 设置开机自启，可以但没必要
systemctl enable cloudera-scm-server
2.启动Cloudera Agent（所有节点）
#启动
systemctl start cloudera-scm-agent
#开机自启，可以但没必要
//systemctl enable cloudera-scm-agent

# 可以访问http://hadoop01:7180 进行组件服务的安装操作了
# 用户名/密码: admin/admin

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17