二、Kubernetes(k8s)中部署项目wordpress(php博客项目，数据库mysql)

前期准备

1、关机顺序

2、开机顺序
(1)、k8s-ha1、k8s-ha2
(2)、master01、master02、master03
(3)、node01、node02

一、集群服务对外提供访问，需要通过Ingress代理发布域名

mast01上传 ingress-nginx.yaml
node01、node02 上传 ingress-nginx.tar 、kube-webhook-certgen.tar

#导入到镜像

for img in ingress-nginx.tar kube-webhook-certgen.tar
> do
> docker load -i $img
> done
1
2
3
4

#master01编辑新建文件ingress-nginx.yaml
vim ingress-nginx.yaml
#打开行号
:set nu 
#搜索Service
/Service
#按小写n快速查找下一个

#将文件中的Servcie类型LoadBalancerg改为NodePort
   type: NodePort

#将ingress-nginx-controller的Pod开启hostNetwork与节点共享网络名称空间,则Pod监听节点的80和443端口
     spec:
       hostNetwork: true   #手动增加
       containers:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

#部署
kubectl apply -f ingress-nginx.yaml
#获取名称空间
kubectl get ns
kubectl get pod -n ingress-nginx

#进入ingress
kubectl exec -it ingress-nginx-controller-55d7ffbbf8-8vl8n -n ingress-nginx -- /bin/bash
#查看ingress下的nginx目录
ls /etc/nginx
cat /etc/nginx/nginx.conf
1
2
3
4
5
6
7
8
9
10
11

二、集群中容器数据持久化，NFS结合动态存储实现

新准备一台机器作为nfs服务器

#设置hostname
hostnamectl set-hostname k8s-nfs

#安装nfs服务端软件包(服务端)
yum install nfs-utils -y

#编辑文件
vim /etc/exports
内容如下：
/storageclass 192.168.30.0/24(rw,no_root_squash)

#创建目录/storageclass
mkdir /storageclass

#启动NFS
systemctl start nfs
systemctl enable nfs

#node01、node02上安装 nfs(客户端)
yum install nfs-utils -y

#node01、node02 检查是否能访问到共享目录
showmount -e 192.168.30.200


#Master01 编辑文件nfs-clients-rbac.yml(文件名自定义)
vim nfs-clients-rbac.yml
#进入粘贴模式
:set paste #按回车健
拷贝内容到该文件

#RBAC文件应用到kubectl
kubectl apply -f nfs-clients-rbac.yml

#Master01 编辑文件nfs-client-deployment.yml(文件名自定义)
vim nfs-client-deployment.yml
要改的内容如下：

	  value: 192.168.30.200        #传递NFS服务器IP地址
	- name: NFS_PATH
	  value: /storageclass       #传递NFS服务器共享路径
volumes:
	- name: nfs-client-root
	  nfs:
		server: 192.168.30.200         #后端NFS服务器IP地址
		path: /storageclass          #后端NFS服务器共享路径



nfs-client-provisioner 运行在node节点下


#Kubernetes 环境检查 master01 节点的污点（taint）信息
kubectl describe node master01 | grep -i taint

#node01、node02上传provisioner压缩文件并导入镜像
docker load -i nfs-subdir-external-provisioner.tar


#Master01部署驱动nfs-client-deployment.yml
kubectl apply -f nfs-client-deployment.yml	
kubectl get pod

#编辑storageclass.yml
vim storageclass.yml
内容如下：
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
  archiveOnDelete: "false"
#应用
kubectl apply -f storageclass.yml

#查看所有可用的存储类的列表
kubectl get sc

#获取 Kubernetes 集群中所有 Pod 的详细信息
kubectl get pod -o wide
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81

三、搭建私有镜像仓库，用于存储自己构建的项目镜像

1、准备一台机器放harbor私有仓库

#上传，安装docker 
tar -xf docker-20.10.21.tar.gz
cd docker
yum install ./*.rpm -y

#上传安装docker-compose、加权限
chmod +x docker-compose
#移动
mv docker-compose /usr/bin
#查看docker-compose版本
docker-compose --versin

#启动docker并设置开机自启
systemctl start docker
systemctl enable docker
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

2、harbor（私有仓储）有点大，使用xftp上传harbor包

#解压、进入harbor
tar -xf harbor-v2.5.1.tgz
cd harbor

#导入harbor镜像
docker load -i harbor.v2.5.1.tar.gz 

#复制文件，并编辑
cp harbor.yml.tmpl harbor.yml
vim harbor.yml
修改host、注释https协议

#当前目录执行脚本
./install.sh

成功后它会以容易方式运行harbor（一共有9个容器在运行）
#查看容器
docker ps

浏览器访问harbor
192.168.30.20
admin
12345

本机指定Harbor仓库地址
vim /etc/docker/daemon.json
{							
  "insecure-registries": ["http://192.168.0.25"]			
}
重启docker让配置文件生效
systemctl restart docker

#此时看容器数量只有6个,解决方法（先全部关闭容器，再重启一下就ok了）
docker ps 

#harbor目录先关闭全部容器
docker-compose down
docker-compose up -d #后台运行docker容器，否则占用前台终端
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

四、部署项目所需的数据库

#master01新建目录
mkdir wordpress

#master01创建名称空间
kubectl create ns wordpress

#查询名称空间
kubectl get ns

#进入wordpress目录，并新建编辑mysql.yml文件
cd wordpress
vim mysql.yml
admin123


#node01,node02 拉取mysql镜像
docker pull mysql:5.7

#创建Pod
kubectl create -f mysql.yml

#查看Pod
kubectl get pod -n wordpress

#进入mysql容器，登录mysql
kubectl exec -it mysql-0 -n wordpress -- /bin/bash
mysql -uroot -padmin123
#验证(显示所有数据库)
show databases;
#数据库主机验证命令
ls /storageclass
ls /storageclass/wordpress-data-mysql-0-pvc-e7a7a759-770b-4940-a58d-6169539a0854
出现如下内容：
wordpress-data-mysql-0-pvc-e7a7a759-770b-4940-a58d-6169539a0854
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

五、项目运行在什么环境中，需要将运行环境打包到镜像中, 并配置好项目连接数据库的信息。

1、下载wordpress项目，配置数据库连接

#nfs服务器主机命令
wget https://cn.wordpress.org/wordpress-6.0-zh_CN.tar.gz

#nfs服务器主机解压
tar -xf wordpress-6.0-zh_CN.tar.gz

#nfs服务器主机
cd wordpress
#nfs主机改配置文件名称
cp wp-config-sample.php wp-config.php


#master01查看数据库地址
kubectl get pod -n wordpress -o wide

#测试重启mysql pod，mysql自动重启了，容器组ip改变了
kubectl delete pod mysql-0 -n wordpress


#查看其中dns，随便拷贝一个dns地址出来（例如：172.16.235.5）
kubectl get pod -n kube-system
kubectl get pod -n kube-system -o -wide

#安装dig命令（dns解析工具）工具包
yum install bind-utils -y

#dns解析mysql
dig @172.16.235.5 mysql-svc.wordpress.svc.cluster.local
dig @172.16.235.5 mysql-svc.wordpress.svc.cluster.local +short

#nfs主机编辑配置文件，数据库地址不能配置IP，因为一旦发生重启IP地址会变动
#地址配置：mysql-svc.wordpress.svc.cluster.local
vim wp-config.php

#wordpress身份认证的信息通过该地址获取：https://api.wordpress.org/secret-key/1.1/salt/

#nfs主机拉取centos镜像
docker pull centos:7.9.2009
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

2、配置nginx镜像仓储

#nfs主机wordpress目录下新建编辑nginx.repo文件
https://nginx.org/en/linux_packages.html#RHEL
内容如下： 
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
1
2
3
4
5
6
7
8
9
10

3、通过Dockerfile来构建wordpress镜像
内容看文件：dockerfile

#构建镜像
docker build  -t wordpress:v6.0 .
1
2

4、harbor 后台新建仓库 wordpress

地址：http://192.168.30.200/
admin
12345
1
2
3

5、推送项目镜像到harbor、并配置集群的镜像仓储

#镜像打标签
docker tag wordpress:v6.0 192.168.30.200/wordpress/wordpress:v6.0

#登录镜像仓库，要输入用户名+密码
docker login 192.168.30.200

#推送镜像到仓库
docker push 192.168.30.200/wordpress/wordpress:v6.0


在集群节点指定Harbor仓库地址
vim /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "insecure-registries": ["http://192.168.30.200"]
}
#重启docker生效
systemctl restart docker
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

六、部署项目到k8s

#master01新建编辑部署文件 wordpress.yml
vim wordpress.yml


#应用到集群
kubectl apply -f wordpress.yml

#查看svc
kubectl get svc -n wordpress

#查看ingress,查看运行的IP地址（192.168.30.14）
kubectl get pod -n ingress-nginx -o wide

#修改本机电脑host
#指定域名
192.168.30.14 web.wordpress.com


#nfs服务器查看nginx日志
ls /storageclass/
ls /storageclass/wordpress-ngx-log-pvc-5ed5cdbf-a07e-4c37-9c06-db5b247a4115
tail /storageclass/wordpress-ngx-log-pvc-5ed5cdbf-a07e-4c37-9c06-db5b247a4115/access.log
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22