数据库-Kafka硬件基础环境搭建_kafka ipv6改造

一、主机硬件初始化

1、配置RAID

1.1、服务器信息

• 厂家：浪潮
• 型号：CS5250H

---

其他厂家，型号的服务器配置过程大同小异，可参考相应官网用户手册配置

1.2、UEFI模式配置RAID

• 开机按DEL进入BIOS
  
• 进入 启动 选项，修改启动模式为UEFI
  
• 重启生效后，按DEL进入 高级 选项，选择UEFI HII配置
  
• 选择相应的RAID卡
  
• 进入Main Menu选项
  
• 选择 Configuration Management
  
• 选择 Clear Configuraton,清除默认配置
  
• 返回上一层菜单，进入Virtual Drive Management配置RAID
  

1.3、Legacy模式配置RAID

• 开机按DEL进入BIOS
  
• 进入 启动 选项，修改启动模式为Legacy
  
• 重启按Ctrl+R,进入RAID配置菜单
  
• 选择RAID卡，按F2,选择Clear Configuration清空默认配置
  
• 选择RAID卡，按F2,选择Create Vitual Drive配置RAID
  

---

具体细节可参考公众号：浪潮专家服务-自助服务-技术资料-RAID卡配置

二、部署操作系统

1、部署要求

具体部署要求与业务侧沟通确认，以其中一个节点为例，具体要求如下：

2、部署操作系统

• 开机按F11进入启动菜单Boot Menu
  
• 选择U盘启动
• 进入Ventoy菜单选择centos7.4
• 出现centos7.4安装选项，选择Install Centos 7
  
• 选择语言English,下一步Continue
  
• 设置DATE&TIME为Asia,Shanghai
  
  
• 选择Software Selection,最小化安装并选择开发工具包
  
  
• 选择系统安装盘
  
  
• 根据客户要求，选择标准分区或者LVM分区
  
• 按照安装要求，配置Boot分区
  
• 按照安装要求，配置根分区
  
• 根据安装要求，配置SWAP分区
  
• 根据安装要求，配置home分区
  
• 分区配置完毕，点击Done
  
  
• 点击Begin Installation
  
• 配置root密码
  
  

三、部署基础环境

1、部署yum server&NTP server服务器

1.1、PC连接yum server服务器

1.1.1、配置网卡IP

服务器的网卡选择，可以是千兆网卡，可以是10G网卡，10G网卡需要光转电模块
修改网卡IP命令如下：

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens1f0 ifcfg-ens1f0.bak
nmcli conn modify ens3f0 ipv4.addresses "192.168.3.10/27" ipv4.gateway "192.168.3.1"  ipv4.method manual connection.autoconnect yes
# nmcli conn modify ens3f0 ipv6.addresses "2408:8744:1000:7::2/120" ipv6.gateway "2408:8744:1000:7::1" ipv6.method manual connection.autoconnect yes
sed -i "4s/none/static/g" ifcfg-ens1f0
1
2
3
4
5

1.1.2、PC修改同网段IP

1.1.3、VTY客户端连接

以SecureCRT为例

• 新建会话
  
• 选择SSH2协议，下一步
  
• 填写服务器IP,端口号22，系统用户root
  
• 选择SFTP协议
  
• 会话名称可修改成方便识别的名字，完成
  

1.2、配置本地yum

1.2.1、上传centos7.4系统ISO

• 使用SecureCRT自带SecureFX文件传输ISO
  
  
• SecureCRT通过SSH登陆服务器界面，快捷键ALT+P使用SecureCRT自带的SFTP功能传输ISO
  
  拖动ISO到此界面
  
  传输ISO
  

1.2.2、挂载ISO到/mnt

mount   /root/CentOS-7-x86_64-DVD-1708.iso /mnt
1

1.2.3、配置本地yum文件

mkdir /etc/yum.repos.d/yumbak
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/yumbak

tee >>/etc/yum.repos.d/centos74.repo<<-eof
[http_Local]
name=local_centos7.4
baseurl=file:///mnt
gpgcheck=0
enabled=1
eof

yum clean all
yum makecache
1
2
3
4
5
6
7
8
9
10
11
12
13

1.3、安装http

yum -y install httpd
1

1.4、配置Http yum server

mkdir /var/www/html/centos7.4
mount -o loop /root/CentOS-7-x86_64-DVD-1708.iso /var/www/html/centos7.4
systemctl start httpd
systemctl enable httpd
echo "/root/CentOS-7-x86_64-DVD-1708.iso /var/www/html/centos7.4 iso9660 loop 0 0">>/etc/fstab
1
2
3
4
5

1.5、修改本地yum

修改本地yum文件为新挂载/var/www/html/centos7.4

rm -f /etc/yum.repos.d/centos74.repo

tee >>/etc/yum.repos.d/centos74.repo<<-eof
[http_Local]
name=local_centos7.4
baseurl=file:///var/www/html/centos7.4
gpgcheck=0
enabled=1
eof
1
2
3
4
5
6
7
8
9

1.6、配置BOND

cd /etc/sysconfig/network-scripts/
cp ifcfg-enp33s0f1 ifcfg-enp33s0f1.bak
cp ifcfg-enp97s0f1 ifcfg-enp97s0f1.bak
rm -f ifcfg-enp33s0f1
rm -f ifcfg-enp97s0f1

nmcli connection add con-name bond0 ifname bond0 type bond miimon 100 mode 1
nmcli connection add con-name enp33s0f1 ifname enp33s0f1 type bond-slave master bond0
nmcli connection add con-name enp97s0f1 ifname enp97s0f1 type bond-slave master bond0
nmcli conn modify bond0 ipv4.addresses "10.160.133.51/24" ipv4.gateway "10.160.133.252" ipv4.method manual connection.autoconnect yes 
# nmcli conn modify bond0 ipv6.addresses "2408:8744:1000:7::7/120" ipv6.gateway "2408:8744:1000:7::1" ipv6.method manual connection.autoconnect yes

sed -i "7s/dhcp/static/g" ifcfg-bond0

1
2
3
4
5
6
7
8
9
10
11
12
13
14

1.7、配置hostname

hostnamectl set-hostname zyytgpadmin-gansu-01
1

1.8、修改root密码

echo 'XXXXXXXXXXXXX' | passwd --stdin root
1

1.9、关闭Firewalled

systemctl stop firewalld
systemctl disable firewalld
1
2

1.10、关闭Selinux

sed -i "s/^SELINUX\=enforcing/SELINUX\=disabled/g" /etc/selinux/config
setenforce 0
1
2

1.11、创建新用户

• 创建kafka用户

useradd kafka
echo 'xxxxxxxxxx' | passwd --stdin kafka
echo 'kafka    ALL=(ALL)       ALL'>>/etc/sudoers
1
2
3

• 创建gpadmin用户

useradd gpadmin
echo 'xxxxxxxxxxx' | passwd --stdin gpadmin
echo 'gpadmin    ALL=(ALL)       ALL'>>/etc/sudoers
1
2
3

1.12、安装基础软件

• 安装TAB命令补全工具

yum -y install bash-completion 
1

• 安装ifconfig命令工具

yum -y install net-tools
1

• 安装JAVA

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
mkdir /usr/java
ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64/ /usr/java/default
java     -version
1
2
3
4

1.13、配置LANG

echo $LANG  # 查看系统语言
locale -a   # 查看系统支持的语言

localectl  set-locale LANG=zh_CN.UTF-8 #方法一：永久修改系统语言

echo 'LANG=zh_CN.UTF-8' > /etc/locale.conf # 方法二

source /etc/locale.conf # 立即生效

LANG=en_US.UTF-8 # 临时切换到英文字符集
reboot      #重启生效
1
2
3
4
5
6
7
8
9
10
11

1.14、配置时区

mv /etc/localtime /etc/localtime.bak
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
1
2

1.15、NTP服务器配置

1.15.1、配置文件

centos7的ntp配置文件存放路径为：/etc/ntp.conf

1.15.2、restrict控制相关权限

语法为： restrict IP地址 mask 子网掩码 参数

其中IP地址也可以是default ，default 就是指所有的IP。

参数有以下几个：

ignore ：关闭所有的 NTP 联机服务

nomodify：客户端不能更改服务端的时间参数，但是客户端可以通过服务端进行网络校时。

notrust ：客户端除非通过认证，否则该客户端来源将被视为不信任子网

noquery ：不提供客户端的时间查询：用户端不能使用ntpq，ntpc等命令来查询ntp服务器

notrap ：不提供trap远端登陆：拒绝为匹配的主机提供模式 6 控制消息陷阱服务。陷阱服务是 ntpdq 控制消息协议的子系统，用于远程事件日志记录程序。

nopeer ：用于阻止主机尝试与服务器对等，并允许欺诈性服务器控制时钟

kod ： 访问违规时发送 KoD 包。

restrict -6 表示IPV6地址的权限设置。

1.15.3、server 设定NTP主机来源

burst：当服务器可以访问时，发送一个由八个数据包组成的突发数据包，而不是通常的一个。数据包间隔通常为2秒；然而，第一个和第二个数据包之间的间隔可以通过calldelay命令来改变，以允许调制解调器或ISDN呼叫完成的额外时间。此选项仅在使用server命令并键入s addressesa时有效。当maxpoll选项大于10（1024秒）时，建议使用该选项。

iburst：当服务器无法访问时，发送八个数据包，而不是通常的一个。数据包间隔通常为2秒；然而，第一个和第二个数据包之间的间隔可以通过calldelay命令来改变，以允许调制解调器或ISDN呼叫完成的额外时间。只有“服务器地址”选项才有效。建议使用此命令选择此选项。

prefer：将服务器标记为首选服务器。在所有其他条件相同的情况下，将选择此主机在一组正常运行的主机之间进行同步。有关更多信息，请参阅缓解规则和首选关键字页面。此选项仅对服务器和对等命令有效。

true：将协会标记为truechimer状态；也就是说，总是在选择和聚类算法中生存。此选项可用于任何关联，但最适用于串行端口上抖动较大的基准时钟和每秒精度脉冲（PPS）信号。警告：此选项会破坏用于排除假代码的算法，并允许这些源设置系统时钟。此选项仅对服务器和对等命令有效。

例如：以下表示优先连接192.168.7.49这部主机进行时间同步。

server 192.168.7.49 prefer
1

1.15.4、fudge 主机ip stratum 层数

这个配置主要用来设定本机作为为其他机器的时间源的时候，其层数为多少，层数必须在15层之内，一般取10。

1.15.5、NTP服务端配置

cp /etc/ntp.conf /etc/ntp.conf.bak

sed -i "8s/restrict/# restrict/g" /etc/ntp.conf
sed -i "8c\restrict 192.168.3.120 nomodify notrap nopeer noquery" /etc/ntp.conf # 本机IP
sed -i "17c\restrict 192.168.3.1 mask 255.255.255.0 nomodify notrap" /etc/ntp.conf # 本机网关IP，掩码
sed -i "21,24s/server/# server/g" /etc/ntp.conf
sed -i "25c\server 127.0.0.1" /etc/ntp.conf
sed -i "25a\Fudge 127.0.0.1 stratum 10" /etc/ntp.conf

systemctl enable ntpd
systemctl start ntpd

ntpstat # 查看同步状态
ntpq -p # 查看NTP服务器
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2、部署其他服务器

2.1、配置yum文件

mkdir /etc/yum.repos.d/yumbak
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/yumbak

tee >>/etc/yum.repos.d/centos74.repo<<-eof
[http_Local]
name=http_local_centos7.4
baseurl=http://10.160.133.48/centos7.4/ # yum为主节点
gpgcheck=0
enabled=1
eof

yum clean all
yum makecache
1
2
3
4
5
6
7
8
9
10
11
12
13

2.2、NTP客户端配置

cp /etc/ntp.conf /etc/ntp.conf.bak
sed -i "8s/restrict/# restrict/g" /etc/ntp.conf
sed -i "8c\restrict 192.168.3.120 nomodify notrap nopeer noquery" /etc/ntp.conf # 本机IP
sed -i "17c\restrict 192.168.3.1 mask 255.255.255.0 nomodify notrap" /etc/ntp.conf # 本机网关IP，掩码
sed -i "21,24s/server/# server/g" /etc/ntp.conf
sed -i "25c\server 127.0.0.1" /etc/ntp.conf #主节点IP
1
2
3
4
5
6

2.3、其他配置

其他配置与yum server配置相同