当前位置:   article > 正文

k8s pod详解

k8s pod详解

目录

pod

pod基本介绍

k8s集群中pod两种使用方式

pause容器使得Pod中所有容器共享两种资源:网络和存储

kubernetes中的pause容器主要为每个容器提供以下功能

k8s设计这样的pod概念和特殊组成结构有什么用意

pod分类

pod容器的分类

基础容器(infrastructure container)

初始化容器(initcontainers)

应用容器(Maincontainer)

镜像拉取策略(image PullPolicy)

重启策略(restartPolicy)

资源限制

Pod 和 容器 的资源请求和限制

CPU 资源单位

内存 资源单位 

健康检查:又称为探针(Probe) 

探针的三种规则

Probe支持三种检查方法

pod状态

Container生命周期


pod

pod基本介绍

Pod是kubernetes中最小的资源管理组件,Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的,例如,用于管理Pod运行的StatefulSet和Deployment等控制器对象,用于暴露Pod应用的Service和Ingress对象,为Pod提供存储的PersistentVolume存储资源对象等

k8s集群中pod两种使用方式

一个Pod中运行一个容器

“每个Pod中一个容器”的模式是最常见的用法;在这种使用方式中,你可以把Pod想象成是单个容器的封装,kuberentes管理的是Pod而不是直接管理容器。

在一个Pod中同时运行多个容器

一个Pod中也可以同时封装几个需要紧密耦合互相协作的容器,它们之间共享资源。这些在同一个Pod中的容器可以互相协作成为一个service单位,比如一个容器共享文件,另一个“sidecar”容器来更新这些文件。Pod将这些容器的存储资源作为一个实体来管理

一个Pod下的容器必须运行于同一节点上。现代容器技术建议一个容器只运行一个进程,该进程在容器中PID命令空间中的进程号为1,可直接接收并处理信号,进程终止时容器生命周期也就结束了。若想在容器内运行多个进程,需要有一个类似Linux操作系统init进程的管控类进程,以树状结构完成多进程的生命周期管理。运行于各自容器内的进程无法直接完成网络通信,这是由于容器间的隔离机制导致,k8s中的Pod资源抽象正是解决此类问题,Pod对象是一组容器的集合,这些容器共享Network、UTS及IPC命令空间,因此具有相同的域名、主机名和网络接口,并可通过IPC直接通信。

Pod资源中针对各容器提供网络命令空间等共享机制的是底层基础容器pause (也可称为父容器)。pause就是为了管理Pod容器间的共享操作,这个父容器需要能够准确地知道如何去创建共享运行环境的容器,还能管理这些容器的生命周期。为了实现这个父容器的构想,kubernetes中,用pause容器来作为一个Pod中所有容器的父容器。这个pause容器有两个核心的功能,一是它提供整个Pod的Linux命名空间的基础。二来启用PID命名空间,它在每个Pod中都作为PID为1进程(init进程),并回收僵尸进程。

pause容器使得Pod中所有容器共享两种资源:网络和存储

网络
每个Pod都会被分配一个唯一的IP地址。Pod中的所有容器共享网络空间,包括IP地址和端口。Pod内部的容器可以使用localhost互相通信。Pod中的容器与外界通信时,必须分配共享网络资源(例如使用宿主机的端口映射)。

存储
Pod可以指定多个共享的Volume。Pod中的所有容器都可以访问共享的Volume。Volume也可以用来持久化Pod中的存储资源,以防容器重启后文件丢失。

每个pod都有一个特殊的被称为”基础容器“的pause容器,pause容器对应的镜像属于k8s平台的一部分,处理pause容器,每个pod还包含一个或多个紧密相关的用户应用容器

kubernetes中的pause容器主要为每个容器提供以下功能

在pod中担任linux命名空间(如网络命名空间)共享的基础

启用pid命名空间,开启init进程

协助他的容器生命周期

提供健康检查和生存探针

k8s设计这样的pod概念和特殊组成结构有什么用意

在一组容器作为一个单元的情况下,难以对整体的容器简单地进行判断及有效地进行行动。比如,一个容器死亡了 那么引入与业务无关的Pause容器作为Pod的基础容器,以它的状态代表着整个容器组的状态,这样就可以解决该问题

Pod里的多个应用容器共享Pause容器的IP,共享Pause容器挂载的Volume,这样简化了应用容器之间的通信问题,也解决了容器之间的文件共享问题

pod分类

自主式pod

这种Pod本身是不能自我修复的,当Pod被创建后(不论是由你直接创建还是被其他Controller),都会被Kuberentes调度到集群的Node上。直到Pod的进程终止、被删掉、因为缺少资源而被驱逐、或者Node故障之前这个Pod都会一直保持在那个Node上。Pod不会自愈。如果Pod运行的Node故障,或者是调度器本身故障,这个Pod就会被删除。同样的,如果Pod所在Node缺少资源或者Pod处于维护状态,Pod也会被驱逐

控制器管理的pod

Kubernetes使用更高级的称为Controller的抽象层,来管理Pod实例。Controller可以创建和管理多个Pod,提供副本管理、滚动升级和集群级别的自愈能力。例如,如果一个Node故障,Controller就能自动将该节点上的Pod调度到其他健康的Node上。虽然可以直接使用Pod,但是在Kubernetes中通常是使用Controller来管理Pod的

pod容器的分类

基础容器(infrastructure container)

基础容器维护整个pod网络和存储空间,每次创建pod的时候会创建,运行的每一个pod都有一个 pause-amd64 的基础容器自动会运行,对于用户是透明的

  1. #创建一个自主式的pod,在对应的node节点查看
  2. kubectl run nginx --image=nginx
  3. kubectl get pod -owide
  4. NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
  5. nginx 1/1 Running 0 86s 10.244.1.52 node01 <none> <none>
  6. #对应节点查看
  7. CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
  8. abad514a5b53 nginx "/docker-entrypoint.…" 3 minutes ago Up 3 minutes k8s_nginx_nginx_default_4a2b568c-1e4d-481c-a236-0dc7b5e96ed1_0
  9. 79ae20dbfdba k8s.gcr.io/pause:3.2 "/pause" 4 minutes ago Up 4 minutes k8s_POD_nginx_default_4a2b568c-1e4d-481c-a236-0dc7b5e96ed1_0

初始化容器(initcontainers)

Init容器必须在应用程序容器启动之前运行完成,而应用程序容器是并行运行的,所以Init容器能够提供了一种简单的阻塞或延迟应用容器的启动的方法

Init 容器与普通的容器非常像,除了以下两点:

Init 容器总是运行到成功完成为止

每个 Init 容器都必须在下一个 Init 容器启动之前成功完成启动和退出

如果 Pod 的 Init 容器失败,k8s 会不断地重启该 Pod,直到 Init 容器成功为止。然而,如果 Pod 对应的重启策略(restartPolicy)为 Never,它不会重新启动

Init 的容器作用

因为init容器具有与应用容器分离的单独镜像,其启动相关代码具有如下优势

Init 容器可以包含一些安装过程中应用容器中不存在的实用工具或个性化代码。例如,没有必要仅为了在安装过程中使用类似 sed、 awk、 python 或 dig 这样的工具而去FROM 一个镜像来生成一个新的镜像

Init 容器可以安全地运行这些工具,避免这些工具导致应用镜像的安全性降低

应用镜像的创建者和部署者可以各自独立工作,而没有必要联合构建一个单独的应用镜像

Init 容器能以不同于Pod内应用容器的文件系统视图运行。因此,Init容器可具有访问 Secrets 的权限,而应用容器不能够访问

由于 Init 容器必须在应用容器启动之前运行完成,因此 Init 容器提供了一种机制来阻塞或延迟应用容器的启动

直到满足了一组先决条件。一旦前置条件满足,Pod内的所有的应用容器会并行启动

  1. cd /mnt
  2. vim test1.yaml
  3. apiVersion: v1
  4. kind: Pod
  5. metadata:
  6. name: myapp-pod
  7. labels:
  8. app: myapp
  9. spec:
  10. containers:
  11. - name: myapp-container
  12. image: busybox:1.28
  13. command: ['sh', '-c', 'echo The app is running! && sleep 3600 ']
  14. initContainers:
  15. - name: init-myservice
  16. image: busybox:1.28
  17. command: ['sh', '-c', 'until nslookup myservice; do echo waiting for myservice; sleep 2; done;']
  18. - name: init-mydb
  19. image: busybox:1.28
  20. command: ['sh', '-c', 'until nslookup mydb; do echo waiting for mydb; sleep 2; done;']
  21. #这个例子是定义了一个具有 2 个 Init 容器的简单 Pod。 第一个等待 myservice 启动, 第二个等待 mydb 启动。 一旦这两个 Init容器都启动完成,Pod 将启动 spec 中的应用容器。
  22. ========================================================================================
  23. 特别说明:
  24. ●在Pod启动过程中,Init容器会按顺序在网络和数据卷初始化之后启动。每个容器必须在下一个容器启动之前成功退出。
  25. ●如果由于运行时或失败退出,将导致容器启动失败,它会根据Pod的restartPolicy指定的策略进行重试。然而,如果Pod的restartPolicy设置为Always,Init容器失败时会使用RestartPolicy策略。
  26. ●在所有的Init容器没有成功之前,Pod将不会变成Ready状态。Init容器的端口将不会在Service中进行聚集。正在初始化中的Pod处于Pending状态,但应该会将Initializing状态设置为true
  27. ●如果Pod重启,所有Init容器必须重新执行。
  28. ●对Init容器spec的修改被限制在容器image字段,修改其他字段都不会生效。更改Init容器的image字段,等价于重启该Pod。
  29. ●Init容器具有应用容器的所有字段。除了readinessProbe,因为Init容器无法定义不同于完成(completion)的就绪(readiness)之外的其他状态。这会在验证过程中强制执行。
  30. ●在Pod中的每个app和Init容器的名称必须唯一;与任何其它容器共享同一个名称,会在验证时抛出错误。
  31. =========================================================================================
  32. #查看状态
  33. kubectl get pod
  34. NAME READY STATUS RESTARTS AGE
  35. myapp-pod 0/1 Init:0/2 0 3m47s
  36. nginx 1/1 Running 0 32m
  37. #没有启动成功,查看具体信息
  38. kubectl describe pod myapp-pod
  39. ...
  40. Events:
  41. Type Reason Age From Message
  42. ---- ------ ---- ---- -------
  43. Normal Scheduled 5m44s default-scheduler Successfully assigned default/myapp-pod to node02
  44. Normal Pulling 5m43s kubelet Pulling image "busybox:1.28"
  45. Normal Pulled 5m26s kubelet Successfully pulled image "busybox:1.28" in 17.339782474s
  46. Normal Created 5m26s kubelet Created container init-myservice
  47. Normal Started 5m26s kubelet Started container init-myservice
  48. #无法创建init-myservice,查看日志获取详细信息
  49. kubectl logs my-service -c init-myservice
  50. ...
  51. waiting for myservice
  52. nslookup: can't resolve 'myservice'
  53. nslookup: can't resolve 'myservice'
  54. Server: 10.96.0.10
  55. Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
  56. waiting for myservice
  57. Server: 10.96.0.10
  58. Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
  59. waiting for myservice
  60. nslookup: can't resolve 'myservice'
  61. #找不到myservice域名,无法跳出循环
  62. #编写myservice的service的yaml文件
  63. vim myservice.yaml
  64. apiVersion: v1
  65. kind: Service
  66. metadata:
  67. name: myservice
  68. spec:
  69. ports:
  70. - protocol: TCP
  71. port: 80
  72. targetPort: 9376
  73. kubectl get pod
  74. kubectl get pod
  75. NAME READY STATUS RESTARTS AGE
  76. myapp-pod 0/1 Init:1/2 0 18m
  77. nginx 1/1 Running 0 47m
  78. #已经恢复一个,查看另一个的情况
  79. kubectl describe pod myapp-db
  80. ...
  81. Events:
  82. Type Reason Age From Message
  83. ---- ------ ---- ---- -------
  84. Normal Scheduled 19m default-scheduler Successfully assigned default/myapp-pod to node02
  85. Normal Pulling 19m kubelet Pulling image "busybox:1.28"
  86. Normal Pulled 19m kubelet Successfully pulled image "busybox:1.28" in 17.339782474s
  87. Normal Created 19m kubelet Created container init-myservice
  88. Normal Started 19m kubelet Started container init-myservice
  89. Normal Pulled 76s kubelet Container image "busybox:1.28" already present on machine
  90. Normal Created 76s kubelet Created container init-mydb
  91. Normal Started 76s kubelet Started container init-mydb
  92. #查看日志
  93. kubectl logs myapp-db -c init-mydb
  94. ...
  95. waiting for mydb
  96. nslookup: can't resolve 'mydb'
  97. nslookup: can't resolve 'mydb'
  98. Server: 10.96.0.10
  99. Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
  100. waiting for mydb
  101. Server: 10.96.0.10
  102. Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
  103. nslookup: can't resolve 'mydb'
  104. waiting for mydb
  105. #同样的,创建mydb的service对应的yaml文件
  106. vim mydb.yaml
  107. apiVersion: v1
  108. kind: Service
  109. metadata:
  110. name: mydb
  111. spec:
  112. ports:
  113. - protocol: TCP
  114. port: 80
  115. targetPort: 9377
  116. kubectl apply -f mydb.yaml
  117. kubectl get pod
  118. NAME READY STATUS RESTARTS AGE
  119. myapp-pod 1/1 Running 0 84m
  120. nginx 1/1 Running 0 113m

应用容器(Maincontainer)

应用容器会在init容器完成并退出后并行启动

镜像拉取策略(image PullPolicy)

Pod 的核心是运行容器,必须指定容器引擎,比如 Docker,启动容器时,需要拉取镜像,k8s 的镜像拉取策略可以由用户指定

IfNotPresent

在镜像已经存在的情况下,kubelet 将不再去拉取镜像,仅当本地缺失时才从仓库中拉取,默认的镜像拉取策略

Always 

每次创建 Pod 都会重新拉取一次镜像

Never 

Pod 不会主动拉取这个镜像,仅使用本地镜像

注意  对于标签为“:latest”的镜像文件,其默认的镜像获取策略即为“Always”;而对于其他标签的镜像,其默认策略则为“IfNotPresent”

  1. vim test2.yaml
  2. apiVersion: v1
  3. kind: Pod
  4. metadata:
  5. name: pod-test1
  6. spec:
  7. containers:
  8. - name: nginx
  9. image: nginx
  10. imagePullPolicy: Always
  11. command: ["echo" , "SUCCESS"]
  12. kubectl apply -f test2.yaml
  13. kubectl get pods -o wide #此时 Pod 的状态异常,原因是 echo 执行完进程终止,容器生命周期也就结束
  14. NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
  15. myapp-pod 1/1 Running 0 98m 10.244.2.37 node02 <none> <none>
  16. nginx 1/1 Running 0 126m 10.244.1.52 node01 <none> <none>
  17. pod-test1 0/1 CrashLoopBackOff 1 41s 10.244.2.38 node02 <none> <none>
  18. kubectl describe pod pod-test1
  19. #可以发现 Pod 中的容器在生命周期结束后,由于 Pod 的重启策略为 Always,容器再次重启了,并且又重新开始拉取镜像
  20. ...
  21. Events:
  22. Type Reason Age From Message
  23. ---- ------ ---- ---- -------
  24. Normal Scheduled 2m3s default-scheduler Successfully assigned default/pod-test1 to node02
  25. Normal Pulled 107s kubelet Successfully pulled image "nginx" in 15.734730617s
  26. Normal Pulled 91s kubelet Successfully pulled image "nginx" in 15.675328748s
  27. Normal Pulled 62s kubelet Successfully pulled image "nginx" in 15.607262669s
  28. Normal Pulling 36s (x4 over 2m3s) kubelet Pulling image "nginx"
  29. Normal Created 21s (x4 over 107s) kubelet Created container nginx
  30. Normal Pulled 21s kubelet Successfully pulled image "nginx" in 15.577490682s
  31. Normal Started 20s (x4 over 107s) kubelet Started container nginx
  32. Warning BackOff 4s (x6 over 90s) kubelet Back-off restarting failed container
  33. #修改 test2.yaml文件
  34. vim test2.yaml
  35. apiVersion: v1
  36. kind: Pod
  37. metadata:
  38. name: pod-test1
  39. spec:
  40. containers:
  41. - name: nginx
  42. image: nginx:1.14 #修改 nginx 镜像版本
  43. imagePullPolicy: Always
  44. #command: [ "echo", "SUCCESS" ] #删除
  45. #删除原有的资源
  46. kubectl delete -f test2.yaml
  47. #更新资源
  48. kubectl apply -f test2.yaml
  49. #查看 Pod 状态
  50. kubectl get pods -o wide
  51. NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
  52. myapp-pod 1/1 Running 0 104m 10.244.2.37 node02 <none> <none>
  53. nginx 1/1 Running 0 133m 10.244.1.52 node01 <none> <none>
  54. pod-test1 1/1 Running 0 66s 10.244.2.39 node02 <none> <none>
  55. #在任意 node 节点上使用 curl 查看头部信息
  56. curl -I 10.244.2.39
  57. HTTP/1.1 200 OK
  58. Server: nginx/1.14.2
  59. Date: Mon, 27 May 2024 11:47:16 GMT
  60. Content-Type: text/html
  61. Content-Length: 612
  62. Last-Modified: Tue, 04 Dec 2018 14:44:49 GMT
  63. Connection: keep-alive
  64. ETag: "5c0692e1-264"
  65. Accept-Ranges: bytes

重启策略(restartPolicy)

当 Pod 中的容器退出时通过节点上的 kubelet 重启容器。适用于 Pod 中的所有容器。

Always

当容器终止退出后,总是重启容器,默认策略

OnFailure

当容器异常退出(退出状态码非0)时,重启容器;正常退出则不重启容器

Never

当容器终止退出,从不重启容器。

注意  K8S 中不支持重启 Pod 资源,只有删除重建

  1. vim test3.yaml
  2. apiVerson: v1
  3. kind: Pod
  4. metadata:
  5. name: foo
  6. spec:
  7. containers:
  8. - name: busybox
  9. image: busybox
  10. args:
  11. - /bin/sh
  12. - -c
  13. - sleep 30 ; exit 3
  14. kubectl apply -f test3.yaml
  15. #查看Pod状态,等容器启动后30秒后执行exit退出进程进入error状态,就会重启次数加1
  16. kubectl get pod
  17. NAME READY STATUS RESTARTS AGE
  18. foo 0/1 Error 0 53s
  19. myapp-pod 1/1 Running 0 117m
  20. nginx 1/1 Running 0 146m
  21. pod-test1 1/1 Running 0 13m
  22. [root@master01 mnt]#kubectl get pod
  23. NAME READY STATUS RESTARTS AGE
  24. foo 1/1 Running 1 78s
  25. myapp-pod 1/1 Running 0 117m
  26. nginx 1/1 Running 0 146m
  27. pod-test1 1/1 Running 0 14m
  28. kubectl delete -f test3.yaml
  29. 对test3.yaml进行修改
  30. apiVersion: v1
  31. kind: Pod
  32. metadata:
  33. name: foo
  34. spec:
  35. containers:
  36. - name: busybox
  37. image: busybox
  38. args:
  39. - /bin/sh
  40. - -c
  41. - sleep 30; exit 3
  42. restartPolicy: Never #添加该内容 注意:跟container同一个级别
  43. kubectl apply -f test3.yaml
  44. 容器进入error状态不会进行重启
  45. kubectl get pod -w
  46. NAME READY STATUS RESTARTS AGE
  47. foo 1/1 Running 0 2s
  48. myapp-pod 1/1 Running 0 126m
  49. nginx 1/1 Running 0 154m
  50. pod-test1 1/1 Running 0 22m
  51. foo 0/1 Error 0 33s

资源限制

当定义 Pod 时可以选择性地为每个容器设定所需要的资源数量。 最常见的可设定资源是 CPU 和内存大小,以及其他类型的资源

当为 Pod 中的容器指定了 request 资源时,调度器就使用该信息来决定将 Pod 调度到哪个节点上。当还为容器指定了 limit 资源时,kubelet 就会确保运行的容器不会使用超出所设的 limit 资源量。kubelet 还会为容器预留所设的 request 资源量, 供该容器使用

如果 Pod 运行所在的节点具有足够的可用资源,容器可以使用超出所设置的 request 资源量。不过,容器不可以使用超出所设置的 limit 资源量

如果给容器设置了内存的 limit 值,但未设置内存的 request 值,Kubernetes 会自动为其设置与内存 limit 相匹配的 request 值。 类似的,如果给容器设置了 CPU 的 limit 值但未设置 CPU 的 request 值,则 Kubernetes 自动为其设置 CPU 的 request 值 并使之与 CPU 的 limit 值匹配

Pod 和 容器 的资源请求和限制

spec.containers[].resources.requests.cpu        定义创建容器时预分配的CPU资源
spec.containers[].resources.requests.memory        定义创建容器时预分配的内存资源
spec.containers[].resources.limits.cpu            定义 cpu 的资源上限 
spec.containers[].resources.limits.memory        定义内存的资源上限

CPU 资源单位

CPU 资源的 request 和 limit 以 cpu 为单位。Kubernetes 中的一个 cpu 相当于1个 vCPU(1个超线程)

Kubernetes 也支持带小数 CPU 的请求。spec.containers[].resources.requests.cpu 为 0.5 的容器能够获得一个 cpu 的  、一半 CPU 资源(类似于Cgroup对CPU资源的时间分片)。表达式 0.1 等价于表达式 100m(毫核),表示每 1000 毫秒内容器可以使用的 CPU 时间总量为 0.1*1000 毫秒

Kubernetes 不允许设置精度小于 1m 的 CPU 资源

内存 资源单位 

内存的 request 和 limit 以字节为单位。可以以整数表示,或者以10为底数的指数的单位(E、P、T、G、M、K)来表示, 或者以2为底数的指数的单位(Ei、Pi、Ti、Gi、Mi、Ki)来表示。
如:1KB=10^3=1000,1MB=10^6=1000000=1000KB,1GB=10^9=1000000000=1000MB
1KiB=2^10=1024,1MiB=2^20=1048576=1024KiB

  1. apiVersion: v1
  2. kind: Pod
  3. metadata:
  4. name: frontend
  5. spec:
  6. containers:
  7. - name: app
  8. image: images.my-company.example/app:v4
  9. env:
  10. - name: MYSQL_ROOT_PASSWORD
  11. value: "password"
  12. resources:
  13. requests:
  14. memory: "64Mi"
  15. cpu: "250m"
  16. limits:
  17. memory: "128Mi"
  18. cpu: "500m"
  19. - name: log-aggregator
  20. image: images.my-company.example/log-aggregator:v6
  21. resources:
  22. requests:
  23. memory: "64Mi"
  24. cpu: "250m"
  25. limits:
  26. memory: "128Mi"
  27. cpu: "500m"
  28. #此例子中的 Pod 有两个容器。每个容器的 request 值为 0.25 cpu 和 64MiB 内存,每个容器的 limit 值为 0.5 cpu 和 128MiB 内存。那么可以认为该 Pod 的总的资源 request 为 0.5 cpu 和 128 MiB 内存,总的资源 limit 为 1 cpu 和 256MiB 内存。
  29. vim test4.yaml
  30. apiVersion: v1
  31. kind: Pod
  32. metadata:
  33. name: frontend
  34. spec:
  35. containers:
  36. - name: web
  37. image: nginx
  38. env:
  39. - name: WEB_ROOT_PASSWORD
  40. value: "password"
  41. resources:
  42. requests:
  43. memory: "64Mi"
  44. cpu: "250m"
  45. limits:
  46. memory: "128Mi"
  47. cpu: "500m"
  48. - name: db
  49. image: mysql
  50. env:
  51. - name: MYSQL_ROOT_PASSWORD
  52. value: "abc123"
  53. resources:
  54. requests:
  55. memory: "128Mi"
  56. cpu: "0.5"
  57. limits:
  58. memory: "256Mi"
  59. cpu: "1"
  60. kubectl apply -f test5.yaml
  61. kubectl describe pod frontend
  62. ...
  63. web:
  64. Container ID: docker://8ecf144751da4110f4dd5e67f7598ec4a6d38b345e9a79c8468ecb0f1cfb564f
  65. Image: nginx
  66. Image ID: docker-pullable://nginx@sha256:0d17b565c37bcbd895e9d92315a05c1c3c9a29f762b011a10c54a66cd53c9b31
  67. Port: <none>
  68. Host Port: <none>
  69. State: Running
  70. Started: Mon, 27 May 2024 21:14:59 +0800
  71. Ready: True
  72. Restart Count: 0
  73. Limits:
  74. cpu: 500m
  75. memory: 128Mi
  76. Requests:
  77. cpu: 250m
  78. memory: 64Mi
  79. Environment:
  80. WEB_ROOT_PASSWORD: password
  81. Mounts:
  82. /var/run/secrets/kubernetes.io/serviceaccount from default-token-kr2xl (ro)
  83. db:
  84. Container ID: docker://1155ff3a8bd64c460dc728a0bc9136bcf069edd5bf828ddd90d58342bf03ab57
  85. Image: mysql
  86. Image ID: docker-pullable://mysql@sha256:e9027fe4d91c0153429607251656806cc784e914937271037f7738bd5b8e7709
  87. Port: <none>
  88. Host Port: <none>
  89. State: Running
  90. Started: Mon, 27 May 2024 21:15:16 +0800
  91. Ready: True
  92. Restart Count: 0
  93. Limits:
  94. cpu: 1
  95. memory: 1Gi
  96. Requests:
  97. cpu: 500m
  98. memory: 512Mi
  99. ...
  100. kubectl get pods -o wide
  101. NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
  102. frontend 2/2 Running 0 3m59s 10.244.1.57 node01 <none> <none>
  103. kubectl get nodes node01
  104. ...
  105. Non-terminated Pods: (3 in total)
  106. Namespace Name CPU Requests CPU Limits Memory Requests Memory Limits AGE
  107. --------- ---- ------------ ---------- --------------- ------------- ---
  108. default frontend 750m (37%) 1500m (75%) 576Mi (33%) 1152Mi (66%) 5m20s
  109. kube-flannel kube-flannel-ds-vq46g 100m (5%) 0 (0%) 50Mi (2%) 0 (0%) 11d
  110. kube-system kube-proxy-qztsc 0 (0%) 0 (0%) 0 (0%) 0 (0%) 11d
  111. Allocated resources:
  112. (Total limits may be over 100 percent, i.e., overcommitted.)
  113. Resource Requests Limits
  114. -------- -------- ------
  115. cpu 850m (42%) 1500m (75%)
  116. memory 626Mi (36%) 1152Mi (66%)
  117. ephemeral-storage 0 (0%) 0 (0%)
  118. hugepages-1Gi 0 (0%) 0 (0%)
  119. hugepages-2Mi 0 (0%) 0 (0%)
  120. Events: <none>

健康检查:又称为探针(Probe) 

探针是由kubelet对容器执行的定期诊断

探针的三种规则

livenessProbe   判断容器是否正在运行。如果探测失败,则kubelet会杀死容器,并且容器将根据 restartPolicy 来设置 Pod 状态。 如果容器不提供存活探针,则默认状态为Success。

readinessProbe   判断容器是否准备好接受请求。如果探测失败,端点控制器将从与 Pod 匹配的所有 service 址endpoints 中剔除删除该Pod的IP地。 初始延迟之前的就绪状态默认为Failure。如果容器不提供就绪探针,则默认状态为Success。

startupProbe(这个1.17版本增加的)  判断容器内的应用程序是否已启动,主要针对于不能确定具体启动时间的应用。如果配置了 startupProbe 探测,在则在 startupProbe 状态为 Success 之前,其他所有探针都处于无效状态,直到它成功后其他探针才起作用。 如果 startupProbe 失败,kubelet 将杀死容器,容器将根据 restartPolicy 来重启。如果容器没有配置 startupProbe, 则默认状态为 Success

注意:以上规则可以同时定义。在readinessProbe检测成功之前,Pod的running状态是不会变成ready状态的

Probe支持三种检查方法

exec  在容器内执行指定命令。如果命令退出时返回码为0则认为诊断成功

tcpSocket   对指定端口上的容器的IP地址进行TCP检查(三次握手)。如果端口打开,则诊断被认为是成功的

httpGet  对指定的端口和路径上的容器的IP地址执行HTTPGet请求。如果响应的状态码大于等于200且小于400,则诊断被认为是成功的

每次探测都将获得以下三种结果之一
成功  容器通过了诊断。
失败  容器未通过诊断。
未知  诊断失败,因此不会采取任何行动

  1. apiVersion: v1
  2. kind: Pod
  3. metadata:
  4. labels:
  5. test: liveness
  6. name: liveness-exec
  7. spec:
  8. containers:
  9. - name: liveness
  10. image: k8s.gcr.io/busybox
  11. args:
  12. - /bin/sh
  13. - -c
  14. - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 60;
  15. livenessProde:
  16. exec:
  17. command:
  18. - cat
  19. - /tmp/healthy
  20. failureThreshold: 1
  21. initialDelaySeconds: 5
  22. periodSeconds: 5
  23. #initialDelaySeconds:指定 kubelet 在执行第一次探测前应该等待5秒,即第一次探测是在容器启动后的第6秒才开始执行。默认是 0 秒,最小值是 0
  24. #periodSeconds:指定了 kubelet 应该每 5 秒执行一次存活探测。默认是 10 秒。最小值是 1。
  25. #failureThreshold: 当探测失败时,Kubernetes 将在放弃之前重试的次数。 存活探测情况下的放弃就意味着重新启动容器。就绪探测情况下的放弃 Pod 会被打上未就绪的标签。默认值是 3。最小值是 1。
  26. #timeoutSeconds:探测的超时后等待多少秒。默认值是 1 秒。最小值是 1。(在 Kubernetes 1.20 版本之前,exec 探针会忽略 timeoutSeconds 探针会无限期地 持续运行,甚至可能超过所配置的限期,直到返回结果为止。)
  27. 可以看到 Pod 中只有一个容器。kubelet 在执行第一次探测前需要等待 5 秒,kubelet 会每 5 秒执行一次存活探测。kubelet 在容器内执行命令 cat /tmp/healthy 来进行探测。如果命令执行成功并且返回值为 0,kubelet 就会认为这个容器是健康存活的。 当到达第 31 秒时,这个命令返回非 0 值,kubelet 会杀死这个容器并重新启动它
  28. #exec方式测试
  29. vim test5.yaml
  30. apiVersion: v1
  31. kind: Pod
  32. metadata:
  33. name: liveness-exec
  34. namespace: default
  35. spec:
  36. containers:
  37. - name: liveness-exec-container
  38. image: busybox
  39. imagePullPolicy: IfNotPresent
  40. command: ["/bin/sh" , "-c" , "touch /tmp/live"; sleep 30; rm -rf /tmp/live; sleep 60;]
  41. livenessProbe:
  42. exec:
  43. command: ["test","-e","/tmp/live"]
  44. initialDelaySeconds: 1
  45. periodSeconds: 3
  46. kubectl apply -f test5.yaml
  47. kubectl describe pods liveness-exec
  48. ...
  49. Events:
  50. Type Reason Age From Message
  51. ---- ------ ---- ---- -------
  52. Normal Scheduled 2m56s default-scheduler Successfully assigned default/liveness-exec to node02
  53. Normal Pulling 2m56s kubelet Pulling image "busybox"
  54. Normal Pulled 2m38s kubelet Successfully pulled image "busybox" in 17.889125702s
  55. Warning Unhealthy 51s (x6 over 2m6s) kubelet Liveness probe failed:
  56. Normal Killing 51s (x2 over 2m) kubelet Container liveness-exec-container failed liveness probe, will be restarted
  57. Normal Created 21s (x3 over 2m38s) kubelet Created container liveness-exec-container
  58. Normal Started 21s (x3 over 2m38s) kubelet Started container liveness-exec-container
  59. Normal Pulled 21s (x2 over 90s) kubelet Container image "busybox" already present on machine
  60. kubectl get pods -w #当检测失败时,便会重启
  61. NAME READY STATUS RESTARTS AGE
  62. frontend 2/2 Running 0 37m
  63. liveness-exec 1/1 Running 0 26s
  64. liveness-exec 1/1 Running 1 88s
  65. liveness-exec 1/1 Running 2 2m37s
  66. httpGet方式测试
  67. apiVersion: v1
  68. kind: Pod
  69. metadata:
  70. labels:
  71. test: liveness
  72. name: liveness-http
  73. spec:
  74. containers:
  75. - name: liveness
  76. image: k8s.gcr.io/liveness
  77. args:
  78. - /server
  79. livenessProde:
  80. httpGet:
  81. path: /healthz
  82. port: 8080
  83. httpHeaders:
  84. - name: Custom-Header
  85. value: Awsome
  86. initialDelaySeconds: 3
  87. periodSeconds: 3
  88. #在这个配置文件中,可以看到 Pod 也只有一个容器。initialDelaySeconds 字段告诉 kubelet 在执行第一次探测前应该等待 3 秒。periodSeconds 字段指定了 kubelet 每隔 3 秒执行一次存活探测。kubelet 会向容器内运行的服务(服务会监听 8080 端口)发送一个 HTTP GET 请求来执行探测。如果服务器上 /healthz 路径下的处理程序返回成功代码,则 kubelet 认为容器是健康存活的。如果处理程序返回失败代码,则 kubelet 会杀死这个容器并且重新启动它
  89. vim test6.yaml
  90. apiVersion: v1
  91. kind: Pod
  92. metadata:
  93. name: liveness-httpget
  94. namespace: default
  95. spec:
  96. containers:
  97. - name: liveness-httpget-container
  98. image: soscscs/myapp:v1
  99. imagePullPolicy: IfNotPresent
  100. ports:
  101. - name: http
  102. containerPort: 80
  103. livenessProbe:
  104. httpGet:
  105. port: http
  106. path: /index.html
  107. initialDelaySeconds: 1
  108. periodSeconds: 3
  109. timeoutSeconds: 10
  110. kubectl apply -f test6.yaml
  111. kubectl exec -it liveness-httpget -- rm -rf /usr/share/nginx/html/index.html
  112. kubectl get pods
  113. NAME READY STATUS RESTARTS AGE
  114. liveness-httpget 1/1 Running 1 2m44s
  115. tcpSocket方式测试
  116. apiVersion: v1
  117. kind: Pod
  118. metadata:
  119. name: goproxy
  120. labels:
  121. app: goproxy
  122. spec:
  123. containers:
  124. - name: goproxy
  125. image: k8s.gcr.io/goproxy:0.1
  126. ports:
  127. - containerPort: 8080
  128. readinessProbe:
  129. tcpSocket:
  130. port: 8080
  131. initialDelaySeconds: 5
  132. periodSeconds: 10
  133. livenessProbe:
  134. tcpSocket:
  135. port: 8080
  136. initialDelaySeconds: 15
  137. periodSeconds: 20
  138. 这个例子同时使用 readinessProbe 和 livenessProbe 探测。kubelet 会在容器启动 5 秒后发送第一个 readinessProbe 探测。这会尝试连接 goproxy 容器的 8080 端口。如果探测成功,kubelet 将继续每隔 10 秒运行一次检测。除了 readinessProbe 探测,这个配置包括了一个 livenessProbe 探测。kubelet 会在容器启动 15 秒后进行第一次 livenessProbe 探测。就像 readinessProbe 探测一样,会尝试连接 goproxy 容器的 8080 端口。如果 livenessProbe 探测失败,这个容器会被重新启动。
  139. vim test7.yaml
  140. apiVersion: v1
  141. kind: Pod
  142. metadata:
  143. name: probe-tcp
  144. spec:
  145. containers:
  146. - name: nginx
  147. image: soscscs/myapp:v1
  148. livenessProbe:
  149. initialDelaySeconds: 5
  150. timeoutSeconds: 1
  151. tcpSocket:
  152. port: 8080
  153. periodSeconds: 10
  154. failureThreshold: 2
  155. kubectl apply -f tcpsocket.yaml
  156. kubectl exec -it probe-tcp -- netstat -natp
  157. Active Internet connections (servers and established)
  158. Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
  159. tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 1/nginx: master pro
  160. kubectl get pods -w
  161. NAME READY STATUS RESTARTS AGE
  162. probe-tcp 1/1 Running 0 1s
  163. probe-tcp 1/1 Running 1 25s #第一次是 init(5秒) + period(10秒) * 2
  164. probe-tcp 1/1 Running 2 45s #第二次是 period(10秒) + period(10秒) 重试了两次
  165. probe-tcp 1/1 Running 3 65s
  166. 就绪检测
  167. vim test8.yaml
  168. apiVersion: v1
  169. kind: Pod
  170. metadata:
  171. name: readiness-httpget
  172. namespace: default
  173. spec:
  174. containers:
  175. - name: readiness-httpget-container
  176. image: soscscs/myapp:v1
  177. imagePullPolicy: IfNotPresent
  178. ports:
  179. - name: http
  180. containerPort: 80
  181. readinessProbe:
  182. httpGet:
  183. port: 80
  184. path: /index1.html
  185. initialDelaySeconds: 1
  186. periodSeconds: 3
  187. livenessProbe:
  188. httpGet:
  189. port: http
  190. path: /index.html
  191. initialDelaySeconds: 1
  192. periodSeconds: 3
  193. timeoutSeconds: 10
  194. kubectl apply -f test8.yaml
  195. kubectl get pods #readiness探测失败,无法进入READY状态
  196. NAME READY STATUS RESTARTS AGE
  197. readiness-httpget 0/1 Running 0 18s
  198. kubectl exec -it readiness-httpget sh
  199. # cd /usr/share/nginx/html/
  200. # ls
  201. 50x.html index.html
  202. # echo 123 > index1.html
  203. # exit
  204. kubectl get pods
  205. NAME READY STATUS RESTARTS AGE
  206. readiness-httpget 1/1 Running 0 2m31s
  207. kubectl exec -it readiness-httpget -- rm -rf /usr/share/nginx/html/index.html
  208. kubectl get pods -w
  209. NAME READY STATUS RESTARTS AGE
  210. readiness-httpget 1/1 Running 0 4m10s
  211. readiness-httpget 0/1 Running 1 4m15s
  212. 就绪检测2
  213. vim test9.yaml
  214. apiVersion: v1
  215. kind: Pod
  216. metadata:
  217. name: myapp1
  218. labels:
  219. app: myapp
  220. spec:
  221. containers:
  222. - name: myapp
  223. image: soscscs/myapp:v1
  224. ports:
  225. - name: http
  226. containerPort: 80
  227. readinessProbe:
  228. httpGet:
  229. port: 80
  230. path: /index.html
  231. initialDelaySeconds: 5
  232. periodSeconds: 5
  233. timeoutSeconds: 10
  234. ---
  235. apiVersion: v1
  236. kind: Pod
  237. metadata:
  238. name: myapp2
  239. labels:
  240. app: myapp
  241. spec:
  242. containers:
  243. - name: myapp
  244. image: soscscs/myapp:v1
  245. ports:
  246. - name: http
  247. containerPort: 80
  248. readinessProbe:
  249. httpGet:
  250. port: 80
  251. path: /index.html
  252. initialDelaySeconds: 5
  253. periodSeconds: 5
  254. timeoutSeconds: 10
  255. ---
  256. apiVersion: v1
  257. kind: Pod
  258. metadata:
  259. name: myapp3
  260. labels:
  261. app: myapp
  262. spec:
  263. containers:
  264. - name: myapp
  265. image: soscscs/myapp:v1
  266. ports:
  267. - name: http
  268. containerPort: 80
  269. readinessProbe:
  270. httpGet:
  271. port: 80
  272. path: /index.html
  273. initialDelaySeconds: 5
  274. periodSeconds: 5
  275. timeoutSeconds: 10
  276. ---
  277. apiVersion: v1
  278. kind: Service
  279. metadata:
  280. name: myapp
  281. spec:
  282. selector:
  283. app: myapp
  284. type: ClusterIP
  285. ports:
  286. - name: http
  287. port: 80
  288. targetPort: 80
  289. kubectl apply -f test9.yaml
  290. kubectl get pods,svc,endpoints -o wide
  291. NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
  292. pod/myapp1 1/1 Running 0 29s 10.244.2.44 node02 <none> <none>
  293. pod/myapp2 1/1 Running 0 29s 10.244.2.43 node02 <none> <none>
  294. pod/myapp3 1/1 Running 0 29s 10.244.1.62 node01 <none> <none>
  295. pod/readiness-httpget 0/1 Running 1 14m 10.244.1.61 node01 <none> <none>
  296. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
  297. service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 11d <none>
  298. service/myapp ClusterIP 10.96.106.147 <none> 80/TCP 29s app=myapp
  299. service/mydb ClusterIP 10.96.134.191 <none> 80/TCP 4h32m <none>
  300. service/myservice ClusterIP 10.96.47.106 <none> 80/TCP 5h37m <none>
  301. NAME ENDPOINTS AGE
  302. endpoints/kubernetes 192.168.111.7:6443 11d
  303. endpoints/myapp 10.244.1.62:80,10.244.2.43:80,10.244.2.44:80 28s
  304. kubectl exec -it pod/myapp1 -- rm -rf /usr/share/nginx/html/index.html
  305. readiness探测失败,Pod 无法进入READY状态,且端点控制器将从 endpoints 中剔除删除该 Pod 的 IP 地址
  306. kubectl get pods,svc,endpoints -o wide
  307. NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
  308. pod/myapp1 1/1 Running 0 97s 10.244.2.44 node02 <none> <none>
  309. pod/myapp2 1/1 Running 0 97s 10.244.2.43 node02 <none> <none>
  310. pod/myapp3 1/1 Running 0 97s 10.244.1.62 node01 <none> <none>
  311. pod/readiness-httpget 0/1 Running 1 15m 10.244.1.61 node01 <none> <none>
  312. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
  313. service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 11d <none>
  314. service/myapp ClusterIP 10.96.106.147 <none> 80/TCP 97s app=myapp
  315. service/mydb ClusterIP 10.96.134.191 <none> 80/TCP 4h33m <none>
  316. service/myservice ClusterIP 10.96.47.106 <none> 80/TCP 5h38m <none>
  317. NAME ENDPOINTS AGE
  318. endpoints/kubernetes 192.168.111.7:6443 11d
  319. endpoints/myapp 10.244.1.62:80,10.244.2.43:80,10.244.2.44:80 96s
  320. 启动、退出动作
  321. vim test10.yaml
  322. apiVersion: v1
  323. kind: Pod
  324. metadata:
  325. name: lifecycle-demo
  326. spec:
  327. containers:
  328. - name: lifecycle-demo-container
  329. image: soscscs/myapp:v1
  330. lifecycle: #此为关键字段
  331. postStart:
  332. exec:
  333. command: ["/bin/sh", "-c", "echo Hello from the postStart handler >> /var/log/nginx/message"]
  334. preStop:
  335. exec:
  336. command: ["/bin/sh", "-c", "echo Hello from the poststop handler >> /var/log/nginx/message"]
  337. volumeMounts:
  338. - name: message-log
  339. mountPath: /var/log/nginx/
  340. readOnly: false
  341. initContainers:
  342. - name: init-myservice
  343. image: soscscs/myapp:v1
  344. command: ["/bin/sh", "-c", "echo 'Hello initContainers' >> /var/log/nginx/message"]
  345. volumeMounts:
  346. - name: message-log
  347. mountPath: /var/log/nginx/
  348. readOnly: false
  349. volumes:
  350. - name: message-log
  351. hostPath:
  352. path: /data/volumes/nginx/log/
  353. type: DirectoryOrCreate
  354. kubectl apply -f test10.yaml
  355. kubectl get pods -owide
  356. kubectl exec -it lifecycle-demo -- cat /var/log/nginx/message
  357. Hello initContainers
  358. Hello from the postStart handler
  359. 在node02上查看
  360. cat /data/volumes/nginx/log/message
  361. Hello initContainers
  362. Hello from the postStart handler
  363. #由上可知,init Container先执行,然后当一个主容器启动后,Kubernetes 将立即发送 postStart 事件。
  364. #删除 pod 后,再在 node02 节点上查看
  365. kubectl delete pod lifecycle-demo
  366. #在node02上查看
  367. cat /data/volumes/nginx/log/message
  368. Hello initContainers
  369. Hello from the postStart handler
  370. Hello from the poststop handler
  371. #由上可知,当在容器被终结之前, Kubernetes 将发送一个 preStop 事件。

pod状态

pending  pod已经被系统认可了,但是内部的container还没有创建出来。这里包含调度到node上的时间以及下载镜像的时间,会持续一小段时间

Running  pod已经与node绑定了(调度成功),而且pod中所有的container已经创建出来,至少有一个容器在运行中,或者容器的进程正在启动或者重启状态。--这里需要注意pod虽然已经Running了,但是内部的container不一定完全可用。因此需要进一步检测container的状态

Succeeded  这个状态很少出现,表明pod中的所有container已经成功的terminated了,而且不会再被拉起了

Failed  pod中的所有容器都被terminated,至少一个container是非正常终止的。(退出的时候返回了一个非0的值或者是被系统直接终止)

unknown  由于某些原因pod的状态获取不到,有可能是由于通信问题。 一般情况下pod最常见的就是前两种状态。而且当Running的时候,需要进一步关注container的状态

Container生命周期

Waiting  启动到运行中间的一个等待状态。

Running  运行状态。

Terminated  终止状态。 如果没有任何异常的情况下,container应该会从Waiting状态变为Running状态,这时容器可用

但如果长时间处于Waiting状态,container会有一个字段reason表明它所处的状态和原因,如果这个原因很容易能标识这个容器再也无法启动起来时,例如ContainerCannotRun,整个服务启动就会迅速返回

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/669081
推荐阅读
相关标签
  

闽ICP备14008679号