赞
踩
Scheduler
是 kubernetes
的调度器,主要的任务是把定义的 pod
分配到集群的节点上。听起来非常简单,但有很多要考虑的问题:
Scheduler
是作为单独的程序运行的,启动之后会一直持续连接 API Server,获取 PodSpec.NodeName
(节点名)为空的 pod,对每个 pod 都会创建一个 binding
,表明该 pod 应该放到哪个节点上
调度分为几个部分:首先是过滤掉不满足条件的节点,这个过程称为 predicate
;然后对通过的节点按照优先级排序,这个是 priority
;最后从中选择优先级最高的节点。如果中间任何一步骤有错误,就直接返回错误
Predicate
有一系列的算法可以使用:
PodFitsResources
:节点上剩余的资源是否大于 pod 请求的资源PodFitsHost
:如果 pod 指定了 NodeName,检查节点名称是否和 NodeName 匹配PodFitsHostPorts
:节点上已经使用的 port 是否和 pod 申请的 port 冲突PodSelectorMatches
:过滤掉和 pod 指定的 label 不匹配的节点NoDiskConflict
:已经 mount 的 volume 和 pod 指定的 volume 不冲突,除非它们都是只读如果在 predicate
过程中没有合适的节点,pod 会一直在 pending
状态,不断重试调度,直到有节点满足条件。经过这个步骤,如果有多个节点满足条件,就继续 priorities
过程: 按照优先级大小对节点排序。
优先级由一系列键值对组成,键是该优先级项的名称,值是它的权重(该项的重要性)。这些优先级选项包括:
LeastRequestedPriority
:通过计算 CPU 和 Memory 的使用率来决定权重,使用率越低权重越高。换句话说,这个优先级指标倾向于资源使用比例更低的节点BalancedResourceAllocation
:节点上 CPU 和 Memory 使用率越接近,权重越高。这个应该和上面的一起使用,不应该单独使用ImageLocalityPriority
:倾向于已经有要使用镜像的节点,镜像总大小值越大,权重越高通过算法对所有的优先级项目和权重进行计算,得出最终的结果
除了 kubernetes
自带的调度器,你也可以编写自己的调度器。通过 spec:schedulername
参数指定调度器的名字,可以为 pod 选择某个调度器进行调度。比如下面的 pod 选择 my-scheduler
进行调度,而不是默认的 default-scheduler
。
apiVersion: v1
kind: Pod
metadata:
name: annotation-second-scheduler
labels:
name: multischeduler-example
spec:
schedulername: my-scheduler
containers:
- name: pod-with-second-annotation-container
image: gcr.io/google_containers/pause:2.0
节点亲和性就是说,假如有 k8s 集群有两个节点A、B,某个 Pod 调度时,更倾向于去 A 节点;这时节点亲和性也有两种级别,一种是 Pod 一定要去 A 节点(硬策略),另一种是 Pod 想去 A 节点,不去也行(软策略)。
节点亲和通过 pod.spec.nodeAffinity
来描述:
preferredDuringSchedulingIgnoredDuringExecution
:软策略requiredDuringSchedulingIgnoredDuringExecution
:硬策略,必须满足,不能满足则 Pod 会一直处于 Pending
状态apiVersion: v1 kind: Pod metadata: name: affinity labels: app: node-affinity-pod spec: containers: - name: with-node-affinity image: wangyanglinux/myapp:v1 affinity: # 亲和性 nodeAffinity: # Node 亲和性 requiredDuringSchedulingIgnoredDuringExecution: # 硬策略 nodeSelectorTerms: # Node 选择方案 - matchExpressions: # 优先选择:节点标签 kubernetes.io/hostname 的值不在 ["k8s-node02"] 中的节点 # kubectl get node --show-labels 查看所有节点标签 # kubernetes.io/hostname 标签存储的是节点 hostname - key: kubernetes.io/hostname # 键名,Node 节点的标签 operator: NotIn # 匹配条件 values: # 值 - k8s-node02
说明:
nodeSelectorTerms
下面有多个选项的话,满足任何一个条件就可以了;matchExpressions
有多个选项的话,则必须同时满足这些条件才能正常调度 PodIn
:label 的值在某个列表中NotIn
:label 的值不在某个列表中Gt
:label 的值大于某个值Lt
:label 的值小于某个值Exists
:某个 label 存在DoesNotExist
:某个 label 不存在apiVersion: v1 kind: Pod metadata: name: affinity labels: app: node-affinity-pod spec: containers: - name: with-node-affinity image: wangyanglinux/myapp:v1 affinity: # 亲和性 nodeAffinity: # Node 亲和性 preferredDuringSchedulingIgnoredDuringExecution: # 软策略 - weight: 1 # 权重,数值越大,越亲和 preference: matchExpressions: - key: kubernetes.io/hostname # 键名,Node 节点的标签 operator: In # 匹配条件 values: # 值 - k8s-node03
硬策略与软策略可以同时指定,此时要先满足硬策略,在满足硬策略的基础上,再尽量满足软策略。
apiVersion: v1 kind: Pod metadata: name: affinity labels: app: node-affinity-pod spec: containers: - name: with-node-affinity image: wangyanglinux/myapp:v1 affinity: nodeAffinity: # 节点亲和性 requiredDuringSchedulingIgnoredDuringExecution: # 硬策略 nodeSelectorTerms: # Node 选择方案 - matchExpressions: - key: kubernetes.io/hostname # 键名,Node 节点的标签 operator: In # 匹配条件 values: - k8s-node01 # 值 - k8s-node02 preferredDuringSchedulingIgnoredDuringExecution: # 软策略 - weight: 1 # 权重,数值越大,越亲和 preference: matchExpressions: - key: source operator: In values: - qikqiak
查看所有节点标签
# 查看所有节点的标签
kubectl get node --show-labels
# 查看指定节点的标签
# kubectl get node 节点名 --show-labels
kubectl get node k8s-node01 --show-labels
添加节点标签
# kubectl label node 节点名 标签键值对
kubectl label node k8s-node01 app=node01
修改节点标签
# kubectl label node 节点名 新的标签键值对 --overwrite=true
kubectl label node k8s-node01 app=app01 --overwrite=true
删除节点标签
# kubectl label node {节点名} {标签键}-
kubectl label node k8s-node01 app-
Pod 亲和性就是说,假如有 k8s 集群有两个节点A、B,有两个 Pod 分别是 M 和 N,当 M 接受调度时,更倾向于去 Pod N 所在的节点;这时调度也存在两种情况,一种是 Pod M 一定要去 Pod N 所在的节点(硬策略),另一种是 Pod M 想去 Pod N 所在的节点,不去也行(软策略)。
Pod 亲和通过 pod.spec.affinity.podAffinity/podAntiAffinity
来描述:
preferredDuringSchedulingIgnoredDuringExecution
:软策略requiredDuringSchedulingIgnoredDuringExecution
:硬策略,必须满足,不能满足则 Pod 会一直处于 Pending
状态拓扑域:当多个节点拥有相同的标签时,如果通过这个标签来判断,则这几个节点就处于同一拓扑域内
调度策略 | 匹配标签 | 操作符 | 拓扑域支持 | 调度目标 |
---|---|---|---|---|
nodeAffinity | 主机 | In, NotIn, Exists,DoesNotExist, Gt, Lt | 否 | 指定主机 |
podAffinity | Pod | In, NotIn, Exists,DoesNotExist | 是 | Pod 与指定 Pod 在同一拓扑域 |
podAnitAffinity | Pod | In, NotIn, Exists,DoesNotExist | 是 | Pod 与指定 Pod 不在同一拓扑域 |
apiVersion: v1 kind: Pod metadata: name: affinity-pod labels: app: pod-affinity-pod spec: containers: - name: pod-affinity image: wangyanglinux/myapp:v1 affinity: podAffinity: # pod 亲和性,两个 pod 运行在同一拓扑域内 requiredDuringSchedulingIgnoredDuringExecution: # 硬策略 # 一定要和标签 app=pod-1 的 Pod 运行在同一拓扑域内 - labelSelector: # 标签选择 matchExpressions: - key: app # pod 的标签 operator: In # 匹配策略 values: # 标签值 - pod-1 # 指定通过哪个节点标签判断 pod 是否在同一个拓扑域上(多个节点拥有相同的标签,则这几个节点就处于同一拓扑域) topologyKey: kubernetes.io/hostname podAntiAffinity: # Pod 亲和性,两个 pod 不运行在同一拓扑域内 preferredDuringSchedulingIgnoredDuringExecution: # 软策略 # 希望不要和标签 app=pod-2 的 Pod 运行在同一拓扑域内 - weight: 1 # 权重,数值越大,越亲和 podAffinityTerm: labelSelector: matchExpressions: - key: app # pod 的标签 operator: In # 匹配策略 values: # 标签值 - pod-2 # 指定通过哪个节点标签判断 pod 是否在同一个拓扑域上(多个节点拥有相同的标签,则这几个节点就处于同一拓扑域) topologyKey: kubernetes.io/hostname
操作和节点标签操作相同,只要把命令中的 node
换成 pod
即可。
查看 Pod 标签
# 查看所有 Pod 的标签
kubectl get pod --show-labels
# 查看指定 Pod 的标签
# kubectl get pod pod名 --show-labels
kubectl get pod pod-1 --show-labels
添加 Pod 标签
# kubectl label pod pod名 标签键值对
kubectl label pod pod-1 app=node01
修改 Pod 标签
# kubectl label pod pod名 新的标签键值对 --overwrite=true
kubectl label pod pod-1 app=app01 --overwrite=true
删除 Pod 标签
# kubectl label pod {pod名} {标签键}-
kubectl label pod pod-1 app-
节点亲和性,是 pod 的一种属性(偏好或硬性要求),它使 pod 被吸引到一类特定的节点。Taint
则相反,它使节点能够 排斥 一类特定的 pod
Taint
和 Toleration
相互配合,可以用来避免 pod 被分配到不合适的节点上。每个节点上都可以应用一个或多个 taint
,这表示对于那些不能容忍这些 taint
的 pod,是不会被该节点接受的。如果将 toleration
应用于 pod 上,则表示这些 pod 可以(但不要求)被调度到具有匹配 taint
的节点上
关于污点与容忍的关系,举个例子,比如说,相亲的时候,有的女方不能容忍男方抽烟,那么这个男方身上抽烟就是污点,他们一定不会结婚。如果女方能容忍男方抽烟,女方也不一定要和男方结婚。
如果某个 Node 有个污点,Pod 不能容忍,则 Pod 一定不会运行在这个 Node 上;如果 Pod 能容忍这个污点,Pod 也不一定会运行在这个节点上。
使用 kubectl taint
命令可以给某个 Node 节点设置污点,Node 被设置上污点之后就和 Pod 之间存在了一种相
斥的关系,可以让 Node 拒绝 Pod 的调度执行,甚至将 Node 已经存在的 Pod 驱逐出去
每个污点的组成如下:
key=value:effect
key
和 value
作为污点的标签,其中 value
可以为空,effect
描述污点的作用。当前 taint effect
支持如下三个选项:
NoSchedule
:表示 k8s 将不会将 Pod 调度到具有该污点的 Node 上PreferNoSchedule
:表示 k8s 将尽量避免将 Pod 调度到具有该污点的 Node 上NoExecute
:表示 k8s 将不会将 Pod 调度到具有该污点的 Node 上,同时会将 Node 上已经存在的 Pod 驱逐出去k8s 主节点中默认存在一个污点:
node-role.kubernetes.io/master:NoSchedule
,所以 Pod 不会被分配在主节点上。
# 设置污点
kubectl taint nodes k8s-node01 key1=value1:NoSchedule
# 节点说明中,查找 Taints 字段
kubectl describe node k8s-node01
# 去除污点
kubectl taint nodes k8s-node01 key1:NoSchedule-
设置了污点的 Node 将根据 taint
的 effect
:NoSchedule
、PreferNoSchedule
、NoExecute
和 Pod 之间产生互斥的关系,Pod 将在一定程度上不会被调度到 Node 上。 但我们可以在 Pod 上设置容忍 ( Toleration ) ,意思是设置了容忍的 Pod 将可以容忍污点的存在,可以被调度到存在污点的 Node 上
通过 pod.spec.tolerations
来配置 Pod 的容忍:
apiVersion: v1 kind: Pod metadata: name: pod-1 labels: app: pod-1 spec: containers: - name: with-node-affinity image: wangyanglinux/myapp:v1 tolerations: - key: "key1" operator: "Equal" value: "value1" effect: "NoExecute" tolerationSeconds: 3600 # 当 Pod 被驱逐时可以在节点上继续保留运行的时间 - key: "key1" operator: "Equal" value: "value1" effect: "NoExecute" - key: "key2" operator: "Exists" effect: "NoSchedule"
容忍的 key
, vaule
, effect
要与 Node 上设置的 taint
保持一致
operator
的值为 Exists
将会忽略 value
值
当 effect
为 NoExecute
时,可以通过设置 tolerationSeconds
来指定 Pod
被驱逐时可以在 Node 上继续保留运行的时间
当不指定 key
值时,表示容忍所有的污点 key
:
tolerations:
- operator: "Exists"
当不指定 effect
值时,表示容忍所有的污点的作用
tolerations:
- key: "key"
operator: "Exists"
有多个 Master
存在时,防止资源浪费,可以如下设置
kubectl taint nodes MasterNode-Name node-role.kubernetes.io/master=:PreferNoSchedule
Pod.spec.nodeName
将 Pod 直接调度到指定的 Node 节点上,会跳过 Scheduler
的调度策略,该匹配规则是强制匹配
apiVersion: extensions/v1beta1 kind: Deployment metadata: name: myweb spec: replicas: 7 # 副本数 template: metadata: labels: app: myweb spec: nodeName: k8s-node01 # 指定 Node 节点的名字 containers: - name: myweb image: wangyanglinux/myapp:v1 ports: - containerPort: 80
Pod.spec.nodeSelector
:通过 kubernetes
的 label-selector
机制选择节点,由调度器调度策略匹配 label
,而后调度 Pod 到目标节点,该匹配规则属于强制约束
apiVersion: extensions/v1beta1 kind: Deployment metadata: name: myweb spec: replicas: 5 template: metadata: labels: app: myweb spec: nodeSelector: # 节点标签选择 disk: ssd # 只有节点存在指定的标签,才能运行该 pod containers: - name: myweb image: wangyanglinux/myapp:v1 ports: - containerPort: 80
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。