热门标签
热门文章
- 1java第十版第九章答案_Java语言程序设计(基础篇)原书第十一版 梁勇 第9章 课后题答案...
- 2OpenAI“杀疯了”，GPT–4o模型保姆级使用教程！一遍就会！_gpt4o使用教程
- 3从Products表中检索所有的产品名称以及对应的销售总数
- 4带你全面了解 RAG，深入探讨其核心范式、关键技术及未来趋势_rag技术
- 5基于 Hive 数据仓库的教育大数据分析平台（伪分布式）_hive大数据教育平台
- 6数据库系统概论原理及应用期末专升本考研试题三套供参考_t0 read (a) a=10 t1 a=a*a
- 7堆排序(最小堆)_最小堆排序
- 8word2vec在PyTorch中的实现_pytorch的word2vec模型
- 9【LeetCode力扣】287.寻找重复数（中等）_力扣287题
- 10小红书接口加密参数X-sign
当前位置: article > 正文
skywalking使用ES做存储在K8S上的部署，使用实践_skywalking es
作者：煮酒与君饮 | 2024-07-01 08:59:24
赞
踩
skywalking es
本来不打算写这块来的，当初觉得这部分相对来说比较简单，主要部署好skywalking-oap server 跟展示端 skywalking-ui就完事了，结果在实际部署过程中发现，通过SSL协议连接ES这块居然是个卡点，搞了半天，网上也没啥文章能照着做通的，唯一让我有实质性帮助的是chatgpt…为了给人类扳回一程，我不得不写下此篇！！
顺便吐槽一下Apache开源体系丰富是丰富，真是有点乱，一个项目一个标准。就ssl通讯这块，ES节点之间主要用的pk12证书，kinbana连ES 变成了pem证书(Java客户端用的应该也是这个)，到sktwalking这了又改成用jks证书，就这么点事都不能统一，非得各搞各的，给人感觉像故意体现项目独特性。
--------------------- 原创不易，如果大家看完觉得有帮助，希望能多多点赞关注，感谢各位的支持 ----------------------
k8s部署skywalking的oap server并不是复杂，就一套yml
- service
- statefulset
直接贴出来
service部署
service我照例用的是固定ip
apiVersion: v1 kind: Service metadata: name: skywalking-oap-svc namespace: devops-tools annotations: desc : skywalking-oap-server服务访问入口 spec: selector: k8s-app: skywalking-oap type: ClusterIP #type: ClusterIP【默认】 | NodePort | LoadBalancer(外部负载均衡) | ExternalName (外部DNS解析) clusterIP: 10.106.160.105 ports: - port: 12800 targetPort: 12800 name: rest - port: 11800 targetPort: 11800 name: grpc
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
StatefulSet部署
要点说明
- 与之前一样，为了便于自动部署，我使用jenkions做了文件存储，基于jenkins的账号验证提供初级的文件安全保证，使用initContainers在启动容器前，下载所需的证书，通过配置ENV给容器获取账号、密码，此外还增加禁止下载的ENV变量，以便于在特殊情况下屏蔽下载(比如jenkins 宕机了)；
- 完整版的skywalking配置文件太长了，这里我用了几个主要的环境变量做了配置，环境变量完整支持官方文档在这里，可以根据实际需要进行参考配置skywalking-oap server 环境变量支持
- 环境变量使用说明，如何生成jks证书下面会说
- name: SW_STORAGE #声明使用ES做存储 value: "elasticsearch" - name: SW_NAMESPACE #skywalking 使用的ES索引前缀配置 value: "skywalking-log" - name: SW_STORAGE_ES_CLUSTER_NODES #集群连接地址 value: "es-01-svc.es:9200" - name: SW_STORAGE_ES_HTTP_PROTOCOL #集群连接协议，简单点直接用http也不是不行 value: "https" - name: SW_ES_USER #连接ES集群用户 value: "elastic" - name: SW_ES_PASSWORD #连接ES集群用户密码 value: "password" - name: SW_STORAGE_ES_SSL_JKS_PATH #ssl协议证书存储位置 value: "/local-certs/es01_http.jks" - name: SW_STORAGE_ES_SSL_JKS_PASS #ssl协议证书密码 value: "jks密码" - name: "SW_STORAGE_ES_SUPER_DATASET_INDEX_SHARDS_FACTOR" #skywalking 索引分片数 默认5 value: "1" - name: SW_CORE_RECORD_DATA_TTL #skywalking 明细数据存储时长，单位：天，默认3 value: "14" - name: SW_CORE_METRICS_DATA_TTL #skywalking 统计数据存储时长，单位：天，默认7 value: "30"
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 想要回顾如何部署ES集群可以参考之前的文档 K8S 部署 ES8.12.0
apiVersion: apps/v1 kind: StatefulSet # Deployment | StatefulSet | DaemonSet | JobSet metadata: name: skywalking-oap namespace: devops-tools spec: replicas: 1 #运行副本数 selector: matchLabels: k8s-app: skywalking-oap #与下方template节点中的 labels 保持一致 revisionHistoryLimit: 10 #设定保留最近的几个revision 用于回滚，默认10 updateStrategy: #更新策略 [Statefulset] #strategy: #更新策略 [Deployment] type: RollingUpdate # RollingUpdate (滚动更新) | OnDelete (删除时更新) rollingUpdate: partition: 0 #[Statefulset] 灰度发布控制器，每次只更新部署的pod序号 >= partition的pod，如果有5个pod[0-4]，0=更新所有,4=更新1pod,3=更新2pod persistentVolumeClaimRetentionPolicy: # Retain | Delete whenDeleted: Delete whenScaled: Retain volumeClaimTemplates: #statefulset 专属动态创建pod的存储 - metadata: name: skywalking-oap-volume spec: storageClassName: "local-path" ## 基于PV的动态创建 accessModes: - ReadWriteOnce resources: requests: storage: 10Gi template: metadata: labels: k8s-app: skywalking-oap annotations: #"cni.projectcalico.org/ipAddrs": "[\"10.244.220.10\"]" #pod绑定固定ip，依赖于calico ipam插件，必须使用calico 3.24.1以上的版本才可以 spec: restartPolicy: Always terminationGracePeriodSeconds: 30 #容器被删除变为Terminating状态的等待时间，默认是30s，以便于做一些容器删除前的处理工作 initContainers: - name: init-skywalking-oap image: apache/skywalking-oap-server:latest #securityContext: # runAsUser: 0 #由于需要更改挂在目录的归属用户，需要以root运行 command: - "bash" - "-c" # 可执行多行命令 - > echo $DOWN_LOAD_URLS; IFS=',' read -r -a my_array <<< "$DOWN_LOAD_URLS"; for URL in "${my_array[@]}"; do echo 'URL:'$URL; FILE=$(echo $URL | awk -F '/' '{print $NF}'); SAVE_PATH='/local-certs'; if [ ! -f $SAVE_PATH"/"$FILE ] || [ "$DOWN_LOAD" = "true" ];then res_status=$(curl -u $DOWNLOAD_ACCESS_USER:$DOWNLOAD_ACCESS_PASS -I -m 10 -o /dev/null -s -w %{http_code} $URL); echo 'res_status: ' $res_status; if [ "$res_status" != "200" ];then echo "===================== "$FILE"不可下载 ======================="; else echo "===================== "$FILE"可下载，执行下载 ======================="; cd $SAVE_PATH; curl -u $DOWNLOAD_ACCESS_USER:$DOWNLOAD_ACCESS_PASS $URL -O; ls $SAVE_PATH; fi else echo "===================== "$FILE"已存在 或 ENV:DOWN_LOAD=false ======================="; fi done env: #环境变量配置 - name: DOWN_LOAD value: "true" - name: "DOWN_LOAD_URLS" value: "http://xxxxx/xxx/es01_http.jks" #jks证书下载url - name: DOWNLOAD_ACCESS_USER value: "http auth 用户名" - name: DOWNLOAD_ACCESS_PASS value: "http auth 密码" - name: POD_NAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name volumeMounts: - name: skywalking-oap-volume #挂载存储目录 mountPath: /local-certs subPath: local-certs containers: - name: skywalking-oap image: apache/skywalking-oap-server:latest imagePullPolicy: IfNotPresent # IfNotPresent | Always | Never resources: requests: memory: "2000Mi" #Gi=G Mi=M 只支持整数 cpu: "500m" #1000m=1cpu (cpu物理线程) limits: memory: "2200Mi" #Gi=G Mi=M 只支持整数 cpu: "1000m" #1000m=1cpu (cpu物理线程) ports: - containerPort: 11800 protocol: TCP - containerPort: 12800 protocol: TCP - | docker-entrypoint.sh; sleep 3600; env: #环境变量配置 - name: SW_STORAGE value: "elasticsearch" - name: SW_NAMESPACE value: "skywalking-log" - name: SW_STORAGE_ES_CLUSTER_NODES value: "es-01-svc.es:9200" - name: SW_STORAGE_ES_HTTP_PROTOCOL value: "https" - name: SW_ES_USER value: "elastic" - name: SW_ES_PASSWORD value: "1q2w3e4r" - name: SW_STORAGE_ES_SSL_JKS_PATH value: "/local-certs/es01_http.jks" - name: SW_STORAGE_ES_SSL_JKS_PASS value: "1q2w3e" #es index 分片数 默认5 - name: "SW_STORAGE_ES_SUPER_DATASET_INDEX_SHARDS_FACTOR" value: "1" - name: SW_CORE_RECORD_DATA_TTL value: "14" - name: SW_CORE_METRICS_DATA_TTL value: "30" - name: POD_NAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name - name: POD_IP valueFrom: fieldRef: fieldPath: status.podIP volumeMounts: - name: skywalking-oap-volume #挂载部署目录 mountPath: /skywalking/data subPath: data - name: skywalking-oap-volume #挂载部署目录 mountPath: /skywalking/logs subPath: logs - name: skywalking-oap-volume #挂载存储目录 mountPath: /local-certs subPath: local-certs - name: skywalking-oap-config #挂载配置文件 mountPath: /config - name: host-time #挂载本地时区 mountPath: /etc/localtime readOnly: true volumes: - name: host-time hostPath: #挂载本地时区 path: /etc/localtime type: ""
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
生成JKS证书
登录到要连接的ES集群的任意节点上，使用ES集群的http.p12证书进行生成
注意
- http.p12证书如果有密码的话，需要在-srcstorepass “$http12证书密码"参数中设定，没有也要设为”"，不能少参数
- -storepass "jks证书密码"这个密码必须有，哪怕http.p12没有密码，这个证书也要设置至少6位的密码
/usr/share/elasticsearch/jdk/bin/keytool -importkeystore -destkeystore ./es_http.jks -deststoretype JKS -srckeystore /usr/share/elasticsearch/config/local-certs/http.p12 -srcstoretype PKCS12 -storepass "jks证书密码" -srcstorepass "$http12证书密码"
- 1
这样skywalking-oap server就部署好了。
skywalking-ui
接下来是skywalking-ui，这个更简单，只要设定好要连接的skywalking-oap server的地址就行了，yml部署文件如下
# api service apiVersion: v1 kind: Service metadata: name: skywalking-ui-svc namespace: devops-tools annotations: desc : skywalking-ui服务访问入口 spec: selector: k8s-app: skywalking-ui type: ClusterIP #type: ClusterIP【默认】 | NodePort | LoadBalancer(外部负载均衡) | ExternalName (外部DNS解析) clusterIP: 10.106.160.106 ports: - port: 80 targetPort: 8080 name: http --- apiVersion: apps/v1 kind: StatefulSet # Deployment | StatefulSet | DaemonSet | JobSet metadata: name: skywalking-ui namespace: devops-tools spec: replicas: 1 #运行副本数 selector: matchLabels: k8s-app: skywalking-ui #与下方template节点中的 labels 保持一致 revisionHistoryLimit: 10 #设定保留最近的几个revision 用于回滚，默认10 #serviceName: "nginx-headless" #设置绑定的service，以支持内部dns访问 <pod-name>.<svc-name>.<namespace>.svc.cluster.local updateStrategy: #更新策略 [Statefulset] #strategy: #更新策略 [Deployment] type: RollingUpdate # RollingUpdate (滚动更新) | OnDelete (删除时更新) rollingUpdate: #maxSurge: 1 #[Deployment]支持-升级过程中可以启动超过原先设置的POD数量的上限：数量 或 百分比 1 | 20% #maxUnavailable: 1 #[Deployment]支持-升级过程中无法提供服务的POD数量的上限：数量 或 百分比 1 | 20%，最好与maxSurge保持一致，这样能确保更新过程中的服务能力不会下降 partition: 0 #[Statefulset] 灰度发布控制器，每次只更新部署的pod序号 >= partition的pod，如果有5个pod[0-4]，0=更新所有,4=更新1pod,3=更新2pod persistentVolumeClaimRetentionPolicy: # Retain | Delete whenDeleted: Delete whenScaled: Retain volumeClaimTemplates: #statefulset 专属动态创建pod的存储 - metadata: name: skywalking-ui-volume spec: storageClassName: "local-path" ## 基于PV的动态创建 accessModes: - ReadWriteOnce resources: requests: storage: 10Gi template: metadata: labels: k8s-app: skywalking-ui annotations: #"cni.projectcalico.org/ipAddrs": "[\"10.244.220.10\"]" #pod绑定固定ip，依赖于calico ipam插件，必须使用calico 3.24.1以上的版本才可以 spec: restartPolicy: Always terminationGracePeriodSeconds: 30 #容器被删除变为Terminating状态的等待时间，默认是30s，以便于做一些容器删除前的处理工作 containers: - name: skywalking-ui image: apache/skywalking-ui imagePullPolicy: IfNotPresent # IfNotPresent | Always | Never #securityContext: ##开启特权，因为要调整系统内核 # privileged: true resources: requests: memory: "256Mi" #Gi=G Mi=M 只支持整数 cpu: "250m" #1000m=1cpu (cpu物理线程) limits: memory: "512Mi" #Gi=G Mi=M 只支持整数 cpu: "500m" #1000m=1cpu (cpu物理线程) #securityContext: ###添加参数启用容器root权限 # privileged: true ports: - containerPort: 8080 protocol: TCP env: - name: SW_OAP_ADDRESS #设定好slkywalking-oap server的地址 value: http://skywalking-oap-svc:12800 - name: POD_NAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name - name: POD_IP valueFrom: fieldRef: fieldPath: status.podIP volumeMounts: - name: skywalking-ui-volume #挂载部署目录 mountPath: /skywalking-ui/data subPath: data - name: skywalking-ui-volume #挂载部署目录 mountPath: /skywalking-ui/logs subPath: logs - name: host-time #挂载本地时区 mountPath: /etc/localtime readOnly: true volumes: - name: host-time hostPath: #挂载本地时区 path: /etc/localtime type: ""
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
skywalking-agent部署
这里一般有2种方式
1.通过init-containers将agent文件部署到容器内，同时在应用启动脚本中添加java-agent JVM参数来实现；
2.将agent文件放置到应用项目中，同时在应用启动脚本中添加java-agent JVM参数来实现
我推荐使用第1种方式，这种方式对项目代码无侵入，具体过程如下：
- 下载skywaling-agent包，下载地址
- 解压缩下载下来的tgz，将里面的skywalking-agent目录重新打包为zip或tar
- 将打好的skywalking-agent的压缩包上传至jenkins
- 在部署应用容器的k8s ymal中init-containers的command中，下载压缩包并解压缩到PVC存储的指定目录中
- 给容器挂载存放agent文件的pvc存储目录
- 在容器启动命令中添加参数，这里以java应用为例
-javaagent:/data/deploy/skywalking-agent/skywalking-agent.jar=agent.service_name=${APP_GROUP}::${APP_NAME},collector.backend_service=skywalking-oap-server:11800,logging.dir=/data/logs,logging.level=warn,logging.max_history_files=10
- 1
这里我设定了几个参数
agent.service_name=${APP_GROUP}::${APP_NAME} 【必须设定】当前应用的service名称，可以使用${APP_GROUP}::${APP_NAME}来给服务分组，相同的${APP_GROUP}在skywalking-ui中展示的时候会分到同一组中
- 1
collector.backend_service=skywalking-oap-server:11800 【必须设定】 这个没啥好说的
- 1
logging.dir=/data/logs,logging.level=warn,logging.max_history_files=10 【可选】设定日志存储位置，级别，最多几个
- 1
完整参数支持可以参考官方文档 agent参数配置
一定要注意格式：
-javaagent:/data/deploy/skywalking-agent/skywalking-agent.jar=key:value,key:value
最后再给大家贴一下我的Java 应用容器部署模板片段
initContainers: - name: init-deploy image: registry:80/web/openjdk17lts:1.1 #我的私服 imagePullPolicy: IfNotPresent # IfNotPresent | Always | Never command: - "bash" - "-c" # # 初始化用于部署的文件资源 - > cd $DOWN_LOAD_PATH; echo "第 67 次构建"; echo "APP_PACK_URL: " http://jenkins/job/xxjob/ws/deploy/app-version.jar; res_status=$(curl -u $DOWNLOAD_ACCESS_USER:$DOWNLOAD_ACCESS_PASS -I -m 10 -o /dev/null -s -w %{http_code} http://jenkins/job/xxjob/ws/deploy/app-version.jar); echo 'res_status: ' $res_status; if [ "$res_status" != "200" ]];then echo "===================== 部署包不存在，不需要执行下载 ======================="; else echo "===================== 部署包存在，执行下载 ======================="; curl -u $DOWNLOAD_ACCESS_USER:$DOWNLOAD_ACCESS_PASS http://jenkins/job/xxjob/ws/deploy/app-version.jar -O /deploy; ls; fi; echo "需要下载的文件urls: "$DOWN_LOAD_URLS; IFS=',' read -r -a my_array <<< "$DOWN_LOAD_URLS"; for URL in "${my_array[@]}"; do echo 'URL:'$URL; FILE=$(echo $URL | awk -F '/' '{print $NF}'); SAVE_PATH=$DOWN_LOAD_PATH; if [ ! $FILE = "" ];then if [ ! -f $SAVE_PATH"/"$FILE ] || [ "$DOWN_LOAD" = "1" ];then res_status=$(curl -u $DOWNLOAD_ACCESS_USER:$DOWNLOAD_ACCESS_PASS -I -m 10 -o /dev/null -s -w %{http_code} $URL); echo 'res_status: ' $res_status; if [ "$res_status" != "200" ];then echo "===================== "$FILE"不可下载 ======================="; else echo "===================== "$FILE"可下载，执行下载 ======================="; cd $SAVE_PATH; curl -u $DOWNLOAD_ACCESS_USER:$DOWNLOAD_ACCESS_PASS $URL -O; echo "===================== 获取文件后缀 ======================="; name=${FILE%.*}; ext_name=${FILE##*.}; if [ "$DOWN_LOAD_UNZIP" = "1" ];then if [ "$ext_name" = "zip" ];then echo "===================== unzip -o"$FILE" ======================="; unzip -o $FILE; elif [ "$ext_name" = "tar" ];then echo "===================== tar -xvf "$FILE" ======================="; tar -xvf $FILE; elif [ "$ext_name" = "tar.gz" ];then echo "===================== tar -zxvf "$FILE" ======================="; tar -zxvf $FILE; fi fi ls $SAVE_PATH; fi else echo "===================== "$FILE"已存在 或 ENV:DOWN_LOAD="$DOWN_LOAD" ======================="; fi fi done; env: #环境变量配置 - name: DOWN_LOAD_PATH value: "/data/deploy" #下载文件存放目录位置 - name: DOWN_LOAD value: "1" #是否强制执行下载(即使文件存在) - name: DOWN_LOAD_URLS value: ",http://jenkins/job/deploy-need-files/ws/deploy/skywalking-agent.zip" #下载文件的url,多个以','分隔 - name: DOWNLOAD_ACCESS_USER value: "user" #用于访问下载url的basic auth 用户 - name: DOWNLOAD_ACCESS_PASS value: "password" #用于访问下载url的basic auth 密码 - name: DOWN_LOAD_UNZIP value: "1" # 针对zip\tar\tar.gz下载后是否自动解压缩 0 不处理 1自动解压缩 volumeMounts: - name: webdemo-volume #挂载部署目录 mountPath: /data/deploy subPath: data/deploy containers: - name: app image: registry:80/web/openjdk17lts:1.1 #使用私服 imagePullPolicy: IfNotPresent # IfNotPresent | Always | Never resources: limits: memory: "2200Mi" cpu: "1000m" requests: memory: "2Gi" cpu: "200m" ports: - containerPort: 8080 protocol: TCP command: ["/bin/sh","-c"] #添加registry垃圾回收定时任务，并启动系统定时调度服务 args: #可以设置多行命令,不过启动后初始化还是推荐使用postStart钩子函数来执行，不能有#注释符 - | java -server -Xms1g -Xmx1g -Xss256k -Xlog:gc:/data/logs/gc.log -XX:+UseZGC -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m --add-opens java.base/java.lang=ALL-UNNAMED -Dfile.encoding=UTF-8 -Denv=pro -javaagent:/data/deploy/skywalking-agent/skywalking-agent.jar=agent.service_name=app_group::=app,collector.backend_service=skywalking-oap-server:11800,logging.dir=/data/logs,logging.level=warn,logging.max_history_files=10 -jar /data/deploy/app-$versioin.jar volumeMounts: - name: app-volume #挂载部署目录 mountPath: /data/deploy subPath: deploy - name: app-volume #挂载数据目录 mountPath: /data/logs subPath: logs - name: host-time #挂载本地时区 mountPath: /etc/localtime readOnly: true volumes: - name: app-volume #使用pvc persistentVolumeClaim: claimName: app-pvc - name: host-time hostPath: #挂载本地时区 path: /etc/localtime type: ""
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
本期文章到此结束，希望对大家有所帮助
--------------------- 原创不易，如果大家看完觉得有帮助，希望能多多点赞关注，感谢各位的支持 ----------------------
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/775765
推荐阅读
相关标签
