Elasticsearch集群部署（从入门到进阶）

目录

1 概念

1.1 Cluster 集群

1.2 Node 节点

1.3 Shard 分片

2 集群搭建

2.1 准备环境

2.2 集群配置

2.3 启动集群和测试

3 集群管理

---

1 概念

此处以 Elasticsearch 7 为示例说明，以下说到的各种配置参数和名字都是以 Elasticsearch 7 的为准。

Elasticsearch 是一个实时的分布式搜索分析引擎，它能让你以前所未有的速度和规模，去探索和检索你的数据。只要你发现你的ES集群已经快达到所能承受的极限（内存不够/磁盘空间不够等），你都可以横向地实时扩展你地ES集群，通过增加ES服务数量来增加内存和磁盘空间。

1.1 Cluster 集群

由一组关联的节点组成的，称为一个集群。

一个集群由一个唯一的名字标识，默认为“elasticsearch”。集群名称非常重要，只有相同集群名的节点才会组成一个集群，集群名称可以在配置文件中指定（cluster.name）。集群中有多个节点，各个节点通过集群名在网络中发现同伴组成集群，其中有一个为主节点，这个主节点是可以通过选举产生的，在具有成为主节点的候选节点（node.master: true，discovery.seed_hosts）中选举产生的，除了主节点外的其他节点都可以称为从节点，但是主从节点是对于集群内部来说的。ElasticSearch的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说，因为从外部来看ElasticSearch集群，在逻辑上是个整体，你与任何一个节点的通信和与整个ElasticSearch集群通信是等价的，即每一个节点都知道文档存在于哪个节点上，可以转发请求到相应的节点上。

 

1.2 Node 节点

节点存储集群的数据，参与集群的索引和搜索功能。像集群有名字，节点也有自己的名称，默认在启动时会以一个随机的UUID的前七个字符作为节点的名字，你可以为其指定任意的名字（node.name）。一个节点也可以是集群，即单节点集群。每一个运行实例称为一个节点，即是一个ES服务，或称一个服务进程，每一个运行实例既可以在同一个机器上，也可以在不同的机器上。在测试环境中可以在一台服务器上运行多个ES服务，但是在生产环境中建议每台服务器运行一个ES服务。

节点分有五种，候选主节点（Master-eligible）、数据节点（Data）、Ingest节点、机器学习节点（Machine learning）和协调节点。其中，我们这里只要知道Master-eligible和Data即可，Ingest和协调节点做简要说明，Machine learning暂不说明。

候选主节点（Master-eligible）

有资格被选举为集群主节点的节点，通过在这些节点中选举产生集群的主节点。主节点负责集群范围内的轻量级操作，如创建或删除索引，跟踪哪些节点是集群的一部分以及确定将哪些分片分配给哪些节点，即主节点相当于一个集群的指挥官。拥有稳定的主节点对于群集健康非常重要。

在索引和搜索数据的时候都会占用比较大的CPU、内存和IO来工作，这可能会对节点的资源带来压力。因此，为了确保主节点的稳定，若是在较大的集群中，我们可以将主节点和其他节点，如数据节点等分开。

仅做候选主节点的配置：

node.master: true
node.data: false 
node.ingest: false 
node.ml: false

 

数据节点（Data）

数据节点是存储数据的，包含建立了索引的文档的分片。同时也是处理与数据相关的操作，如CRUD、聚合和搜索等，这些操作都需要占用较大的CPU、内存和IO，故监视这些资源并在过载时新增更多的数据节点非常重要。

仅做数据节点的配置：

node.master: false
node.data: true 
node.ingest: false 
node.ml: false

 

Ingest节点

Ingest 节点可以看作是数据前置处理转换的节点，支持 pipeline管道设置，可以对数据进行过滤、转换等操作，类似于 logstash 中 filter 的作用，功能相当强大。

基本原理：节点接收到数据之后，根据请求参数中指定的管道流 id，找到对应的已注册管道流，对数据进行处理，然后将处理过后的数据，按照 Elasticsearch 标准的 indexing 流程继续运行。

仅做Ingest节点的配置：

node.master: false
node.data: false 
node.ingest: true
node.ml: false

 

协调节点

搜索请求在两个阶段中执行（query 和 fetch），这两个阶段由接收客户端请求的节点 - 协调节点协调。

• 在请求阶段，协调节点将请求转发到保存数据的数据节点。 每个数据节点在本地执行请求并将其结果返回给协调节点。
• 在收集fetch阶段，协调节点将每个数据节点的结果汇集为单个全局结果集。

仅做协调节点的配置：

node.master: false
node.data: false 
node.ingest: false 
node.ml: false

 

1.3 Shard 分片

在创建一个索引时可以指定分成多少个分片来存储。每个分片本身也是一个功能完善且独立的“索引”，可以被放置在集群的任意节点上（分片数创建索引时指定，创建后不可改了。备份数可以随时改）。索引分片，ElasticSearch可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。分片的好处：

• 允许我们水平切分/扩展容量。
• 可在多个分片上进行分布式的、并行的操作，提高系统的性能和吞吐量。

需要注意的是，每个分片本质上就是一个Lucene索引，因此会消耗相应的CPU、内存和IO资源。

分片配置策略

ES推荐的最大JVM堆空间是30~32G，所以把你的分片最大容量限制为30GB，然后再对分片数量做合理估算。例如，你觉得你的数据能达到200GB, 推荐你最多分配7到8（200/30）个分片。
在开始阶段，一个比较好的方案是根据你的数据节点数量按照1.5~3倍的原则来创建分片。例如，如果你有3个节点, 则推荐你创建的分片数最多不超过9(3x3)个。当性能下降时，增加节点，ES会自动平衡分片的放置。
对于基于日期的索引需求，并且对索引数据的搜索场景非常少。也许这些索引量将达到成百上千，但每个索引的数据量只有1GB甚至更小。对于这种类似场景，建议只需要为索引分配1个分片。如日志管理就是一个日期的索引需求，日期索引会很多，但每个索引存放的日志数据量就很少。

 

备份（Replication）

一个分片可以有多个备份（副本），备份数可以随时改。好处：

• 高可用扩展搜索的并发能力、吞吐量。
• 搜索可以在所有的副本上并行运行。

 

主分片（primary shard）

每个文档都存储在其中一个分片中，当你存储一个文档的时候，系统会首先存储在主分片中，然后复制到不同的副本中。默认情况下，一个索引有5个主分片。你可以在事先制定分片的数量，当分片一旦建立，分片的数量则不能修改。

 

副本分片（replica shard）

每一个分片有零个或多个副本。副本主要是主分片的复制，其中有两个目的：

• 增加高可用性，当主分片故障的时候，可以从副本分片中选择一个作为主分片。
• 提高性能，当查询的时候可以到主分片或者副本分片中进行查询。默认情况下，一个主分片配有一个副本，但副本的数量可以在后面动态的配置增加。副本必须部署在不同的节点上，不能部署在和主分片相同的节点上。

 

2 集群搭建

2.1 准备环境

（1）准备了3台服务器搭建ES集群：192.168.17.137、192.168.17.139 和 192.168.17.136 。

（2）分别在这三台机器上安装java8或java11，这里以java8作为例子，具体安装步骤网上一搜一大把，这里就不多说了。

（3）分别在这三台机器上安装Elasticsearch7.5.0，具体安装可查看之前的文档 https://blog.csdn.net/qq_15092079/article/details/81411334。

 

2.2 集群配置

集群的配置，其实就config目录下面的 elasticsearch.yml、jvm.options 和 log4j2.properties 三个文件的配置。

elasticsearch.yml

配置以192.168.17.137的为例子说明，其他两个服务器的配置也是类似，这里就不列出来了。一个简单的集群这里只简单配置几个选项，其他都可以直接使用默认的。若需知道具体这些配置项的意义，可继续看下面的说明。

cluster.name: es-cluster
 
# 节点名称，每个节点的都不一样
node.name: node-1
 
path.data: /usr/softwares/elasticsearch-7.5.0/data
 
path.logs: /usr/softwares/elasticsearch-7.5.0/logs
 
# 节点ip，每个节点的都不一样
network.host: 192.168.17.137
 
http.port: 9200
transport.port: 9333
 
http.cors.enabled: true
http.cors.allow-origin: "*"
 
node.master: true
node.data: true
 
discovery.seed_hosts: ["192.168.17.137", "192.168.17.136", "192.168.17.139"]

配置参数说明（标红为重点需要理解的参数）：

 

jvm.options

可根据各个服务器实际可用的内存，配置ES的使用堆内存，默认最大内存和最小内存均是1g。一般此内存设置为服务器总可用内存的一半（即50%的策略设置），并且不能超过32GB（由于jvm的特性，内存对象指针压缩技术）。

设置ES运行的最大和最小堆内存为500m。

-Xms500m
-Xmx500m

设置ES运行的java版本为8到9，且最大和最小堆内存为500m。

8-9:-Xms500m
8-9:-Xmx500m

设置ES运行的java版本为大于等于8，且最大和最小堆内存为500m。

8-:-Xms500m
8-:-Xmx500m

 

log4j2.properties

ES服务的日志记录配置文件，与log4j的形式配置，这里不多做说明。

 

2.3 启动集群和测试

启动

启动集群，首先得从其中一个候选主节点入手启动，第一个被启动的候选主节点将会被优先选举为主节点。

我这里先后启动顺序为：192.168.17.137、192.168.17.139 和 192.168.17.136。

在elasticsearch的根目录下，切换对应用户，后台运行ES服务。

cd es的根目录
 
su es用户
 
./bin/elasticsearch -d

 

启动成功的主节点日志截图：

 

测试

分别输入地址：

http://192.168.17.137:9200/

http://192.168.17.139:9200/

http://192.168.17.136:9200/

页面返回，此处以node-2节点为例：

证明Elasticsearch集群已经成功启动运行。

 

停止

先停止所有非主节点，最后才停止主节点。

# 查找es的进程号
jps
# 直接停止此进程
kill -9 es进程号

 

3 集群管理

可以通过安装相应版本的kibana来进行ES的监控和管理。具体安装流程可以见之前的文档 https://blog.csdn.net/qq_15092079/article/details/81411334