elasticsearch7.x在k8s中的部署_kubect部署elasticsearch

目录

一、说明

二、思路

三、部署

1、建nfs服务器

2、建持久卷

3、部署elasticsearch

四、附件

?pv.yaml内容

elasticsearch.yaml内容

---

一、说明

本文章内容主要的参考来源是https://www.cnblogs.com/javashop-docs/p/12410845.html，但参考文献中的elasticsearch是用的6.x版本，7.x与6.x有些配置上的差异，因此有必要在此基础上记录一下。

二、思路

• 数据的存储

在k8s中的持久化部署不可避免的要用到持久卷，我们采用nfs方式的持久卷来存储es数据。持久卷的详细介绍请见这里：
https://kubernetes.io/docs/concepts/storage/persistent-volumes/

• 节点规划

默认启动5个节点，3主2数据。根据es官方推荐每个节点的智能要分离，因此maseter节点不存储数据，只用来协调。

• 3、多节点的权限问题

es的数据目录默认只允许一个节点访问，但在k8s上采用了持久卷，所有节点的数据都存储在这个卷上，这会导致es的访问权限问题。报错如下：

java.io.IOException: failed to obtain lock on /usr/share/elasticsearch/data/nodes/0
1

当然可以通过更改es的配置max_local_storage_nodes来允许多个节点访问同一个数据目录，但es官方不推荐这样做。

所以我们的方案是更改每个节点的数据存储目录来解决 _ps:指定es配置项path.data来实现。_举例说明：

节点名

存储目录

es-data-1

/usr/share/elasticsearch/data/es-data-1

es-data-2

/usr/share/elasticsearch/data/es-data-2

三、部署

1、建nfs服务器

对于持久卷的结构规划如下：

目录

内容

/nfs/data/esmaster

es master节点的数据

/nfs/data/esdata

es 数据节点的数据

关于索引的磁盘占用：请根据业务的数据量情况来规划持久卷硬件的情况，根据我们实际测算1000个商品大约需要1MB/每节点
在默认的规划中，我们使用k8s的master节点作为nfs服务器，为上述卷准备了10G的空间，请确保k8s master node 不少于10G的空闲磁盘。请根据您的具体业务情况选择nfs服务器，如果条件允许最好是独立的nfs服务器。根据如上规划建立nfs服务：

#master节点安装nfs
yum -y install nfs-utils
#创建nfs目录
mkdir -p /nfs/data/{mqdata,esmaster,esdata}
#修改权限
chmod -R 777 /nfs/data/

#编辑export文件
vim /etc/exports

粘贴如下内容：
/nfs/data/esmaster *(rw,no_root_squash,sync)
/nfs/data/esdata *(rw,no_root_squash,sync)

#配置生效
exportfs -r
#查看生效
exportfs

#启动rpcbind、nfs服务
systemctl restart rpcbind && systemctl enable rpcbind
systemctl restart nfs && systemctl enable nfs

#查看 RPC 服务的注册状况
rpcinfo -p localhost

#showmount测试，这里的ip输入master节点的局域网ip
showmount -e

如果以看到可被挂载的目录：
# showmount -e 172.17.14.73

Export list for 172.17.14.73:
/nfs/data/esmaster *
/nfs/data/mqdata *
接下来，要在每一个节点上安装nfs服务以便使k8s可以挂载nfs目录
#所有node节点安装客户端
yum -y install nfs-utils
systemctl start nfs && systemctl enable nfs

这样就为k8s的持久卷做好了准备。

2、建持久卷

复制附件中的pv.yaml内容，修改其中的server配置为nfs服务器的ip地址

nfs:
server: 192.168.0.186 #这里请写nfs服务器的ip

在k8s master节点上执行下面的命令创建namespace：
kubectl create namespace ns-elasticsearch
通过下面的命令建立持久卷：
kubectl create -f pv.yaml
通过以下命令查看持久卷是否建立成功：
kubectl get pv

3、部署elasticsearch

由于在elasticsearch.yaml中设置了node信息：nodeSelector