k8s持久化存储之OpenEBS

一、介绍

OpenEBS 是 CNCF 项目的一部分，采用 Apache v2 许可证。是 Kubernetes 部署使用最广泛且易用的开源存储解决方案。

目的：

让持久化工作负载的存储和存储服务完全集成到环境中，这样每个团队和工作负载都可以从控制的粒度和 Kubernetes 原生行为中获益。

特点：

• 微服务架构，使用 Kubernetes 自身的能力来编排管理 OpenEBS 组件。
• OpenEBS 支持一系列存储引擎，以便开发人员能够部署适合其应用程序设计目标的存储技术。像 Cassandra 这样的分布式应用程序可以使用 LocalPV 引擎实现最低延迟的写操作。像 MySQL 和 PostgreSQL 这样的独立应用程序可以使用 ZFS 引擎 (cStor) 进行恢复。像 Kafka 这样的流媒体应用程序可以使用 NVMe 引擎 Mayastor 在边缘环境中获得最佳性能。
• 在各种引擎类型中，OpenEBS 为高可用性、快照、克隆和易管理性提供了一致的框架。
• 管理员和开发人员可以使用 Kubernetes 提供的所有工具来交互和管理 OpenEBS。

二、OpenEBS 存储引擎建议

• 多机环境，如果有额外的块设备（非系统盘块设备）作为数据盘，选用 OpenEBS Mayastor、OpenEBS cStor
• 多机环境，如果没有额外的块设备（非系统盘块设备）作为数据盘，仅单块系统盘块设备，选用 OpenEBS Jiva
• 单机环境，建议本地路径 Dynamic Local PV - Hostpath, Dynamic Local PV - Rawfile，由于单机多用于测试环境，数据可靠性要求较低。

三、安装

openobs官方安装文档

在安装openebs之前先去除污点，然后等安装完成再添加回来污点

# 去除污点
kubectl taint nodes k8s-master01 node-role.kubernetes.io/master=:NoSchedule-
# 添加污点
kubectl taint nodes k8s-master01 node-role.kubernetes.io/master=:NoSchedule

添加helm repo

helm repo add openebs https://openebs.github.io/charts
helm repo update

安装openebs（这里只会安装Jiva和Local组件）

helm install openebs --namespace openebs openebs/openebs --create-namespace --version 3.0.x

添加cstor支持

helm install openebs --namespace openebs openebs/openebs --create-namespace --set cstor.enabled=true --version 3.2.0

查看安装

# 查看安装pod
kubectl get pod -n openebs
# 查看安装blockdevice，这里的blockdevice是磁盘，当添加一块未分配的磁盘，就会有值
kubectl get bd -n openebs

OpenEBS依赖与iSCSI做存储管理，因此需要先确保您的集群上已有安装openiscsi。 （这里当报错的时候可以安装试试）

yum -y install iscsi-initiator-utils
systemctl enable iscsid --now
systemctl start iscsid

查看安装状况：

[root@k8s-master01 ~]# kubectl get pod -n openebs
NAME                                            READY   STATUS    RESTARTS         AGE
openebs-cstor-admission-server-b74f5487-lkz84   1/1     Running   1 (6m21s ago)    8h
openebs-cstor-csi-controller-0                  6/6     Running   0                4m44s
openebs-cstor-csi-node-4df4w                    2/2     Running   2 (61m ago)      8h
openebs-cstor-csi-node-x8bmt                    2/2     Running   6 (16m ago)      8h
openebs-cstor-csi-node-zzn4k                    2/2     Running   2 (6m21s ago)    8h
openebs-cstor-cspc-operator-84464fb479-fh949    1/1     Running   3 (16m ago)      8h
openebs-cstor-cvc-operator-646f6f676b-xhd44     1/1     Running   2 (16m ago)      46m
openebs-localpv-provisioner-55b65f8b55-zqj29    1/1     Running   13 (6m23s ago)   8h
openebs-ndm-429hl                               1/1     Running   2 (4m28s ago)    8h
openebs-ndm-9kkzd                               1/1     Running   1 (6m21s ago)    8h
openebs-ndm-operator-6c944d87b6-5ddxz           1/1     Running   2 (16m ago)      46m
openebs-ndm-sqnwx                               1/1     Running   6 (15m ago)      8h

四、添加磁盘

[root@k8s-master01 ~]# kubectl get bd -n openebs
NAME                                           NODENAME       SIZE           CLAIMSTATE   STATUS     AGE
blockdevice-57886fae032a3d3638badeb1282dd67e   k8s-node02     21473771008    Unclaimed    Active     53s
blockdevice-d923fc382d96ff6eea7d9ab8efb66224   k8s-master01   21473771008    Unclaimed    Active     11m
blockdevice-e5009ce419c80719025c4cc9409253ab   k8s-node01     21473771008    Unclaimed    Active     33s

五、配置

5.1 创建cStor存储池

cspc.yaml ：

apiVersion: cstor.openebs.io/v1
kind: CStorPoolCluster
metadata:
 name: cstor-disk-pool
 namespace: openebs
spec:
 pools:
   - nodeSelector:
       kubernetes.io/hostname: "k8s-master01"
     dataRaidGroups:
       - blockDevices:
           - blockDeviceName: "blockdevice-d923fc382d96ff6eea7d9ab8efb66224"
     poolConfig:
       dataRaidGroupType: "stripe"
 
   - nodeSelector:
       kubernetes.io/hostname: "k8s-node01"
     dataRaidGroups:
       - blockDevices:
           - blockDeviceName: "blockdevice-e5009ce419c80719025c4cc9409253ab"
     poolConfig:
       dataRaidGroupType: "stripe"
 
   - nodeSelector:
       kubernetes.io/hostname: "k8s-node02"
     dataRaidGroups:
       - blockDevices:
           - blockDeviceName: "blockdevice-57886fae032a3d3638badeb1282dd67e"
     poolConfig:
       dataRaidGroupType: "stripe"

dataRaidGroupType:可以根据您的需要设置为 stripe or mirror 。下面以配置为stripe为例。

[root@k8s-master01 openebs]# kubectl get CStorPoolCluster -n openebs
NAME              HEALTHYINSTANCES   PROVISIONEDINSTANCES   DESIREDINSTANCES   AGE
cstor-disk-pool                      3                      3                  42s

5.2 storageclass创建

5.2.1 cstor的创建

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: cstor-csi-disk
provisioner: cstor.csi.openebs.io
allowVolumeExpansion: true
parameters:
  cas-type: cstor
  # cstorPoolCluster should have the name of the CSPC
  cstorPoolCluster: cstor-disk-pool
  # replicaCount should be <= no. of CSPI created in the selected CSPC
  replicaCount: "3"

添加硬盘后查看磁盘情况

磁盘 /dev/sdb：21.5 GB, 21474836480 字节，41943040 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：gpt
Disk identifier: ADA9C10B-8C31-4EE2-A29B-F2701E9554DC
 
 
#         Start          End    Size  Type            Name
 1         2048     41943006     20G  Linux filesyste OpenEBS_NDM

5.2.2 jiva

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: jiva-storageclass
  annotations:
    openebs.io/cas-type: jiva
    cas.openebs.io/config: |
      - name: StoragePool
        value: default
provisioner: openebs.io/provisioner-iscsi

5.2.3 hostpath

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: localpv-hostpath-sc
  annotations:
    openebs.io/cas-type: local
    cas.openebs.io/config: |
      - name: BasePath
        value: "/var/openebs/local"
      - name: StorageType
        value: "hostpath"
provisioner: openebs.io/local

5.2.4 device

下面的类型需要添加硬盘

磁盘 /dev/sdc：21.5 GB, 21474836480 字节，41943040 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：gpt
Disk identifier: BAD0A706-0A9D-478A-85C6-319224EC5D1F
 
 
#         Start          End    Size  Type            Name
 1         2048     41943006     20G  Linux filesyste OpenEBS_NDM

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: localpv-device-sc
  annotations:
    openebs.io/cas-type: local
    cas.openebs.io/config: |
      - name: StorageType
        value: "device"
      - name: FSType
        value: ext4
provisioner: openebs.io/local

查看：

[root@k8s-master01 openebs]# kubectl get sc -n openebs
NAME               PROVISIONER            RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
cstor-csi-disk     cstor.csi.openebs.io   Delete          Immediate              true                   43s
openebs-device     openebs.io/local       Delete          WaitForFirstConsumer   false                  9h
openebs-hostpath   openebs.io/local       Delete          WaitForFirstConsumer   false                  9h

5.2.5 cStor、Jiva、LocalPV 特性比较：

大多数场景推荐 cStor，因其提供了强大的功能，包括快照 / 克隆、存储池功能（如精简资源调配、按需扩容等）。

Jiva 适用于低容量需求的工作负载场景，例如 5 到 50G。尽管使用 Jiva 没有空间限制，但建议将其用于低容量工作负载。Jiva 非常易于使用，并提供企业级容器本地存储，而不需要专用硬盘。有快照和克隆功能的需求的场景，优先考虑使用 cStor 而不是 Jiva。

5.3 默认sc

kubectl patch storageclass cstor-csi-disk -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'