Elasticsearch在Linux中的单节点部署和集群部署_elasticsearch单节点配置

一、Elasticsearch简介

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。

Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。

Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。Elasticsearch是分布式的，这意味着索引可以被分成分片，每个分片可以有0个或多个副本。每个节点托管一个或多个分片，并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中，该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引，就不能更改主分片的数量。

Elasticsearch使用Lucene，并试图通过JSON和Java API提供其所有特性。它支持facetting和percolating，如果新文档与注册查询匹配，这对于通知非常有用。另一个特性称为“网关”，处理索引的长期持久性；例如，在服务器崩溃的情况下，可以从网关恢复索引。Elasticsearch支持实时GET请求，适合作为NoSQL数据存储，但缺少分布式事务。

二、Linux单节点部署

官方地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0
具体下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz

1、软件下载解压

# 下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz
# 解压
tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
# 改名
mv elasticsearch-7.8.0 es
1
2
3
4
5
6

2、创建用户

因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要创建新用户，在 root 用户中创建新用户。

useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /opt/module/es #文件夹所有者
1
2
3
4

3、修改配置文件

修改 /opt/soft/es/config/elasticsearch.yml 文件，加入一下配置

cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
1
2
3
4
5

修改 /etc/security/limits.conf ，在文件末尾加上如下配置

# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
1
2
3

修改 /etc/security/limits.d/20-nproc.conf，在文件末尾加上如下配置

# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称
1
2
3
4
5
6

修改 /etc/sysctl.conf，在文件末尾加上如下配置

# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
1
2

重新加载配置

sysctl -p
1

4、切换到刚刚创建的用户启动软件

# 切换用户
su es
# 启动软件
./bin/elasticsearch
# 后台启动
./bin/elasticsearch -d
1
2
3
4
5
6

启动时，会动态生成文件，如果文件所属用户不匹配，会发生错误，需要重新进行修改用户和用户组。

chown -R es:es /opt/module/es
1

5、测试

关闭Linux的防火墙

systemctl stop firewalld
1

在浏览器中访问http://linxuip:9200/

注意：linxuip修改为自己Linux的IP地址

如果浏览器中出现如下JSON即为部署成功

{
  "name" : "node-1",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "T4Lhwgb1QZCRXQf3mWHbbg",
  "version" : {
    "number" : "7.8.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
    "build_date" : "2020-06-14T19:35:50.234439Z",
    "build_snapshot" : false,
    "lucene_version" : "8.5.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

三、Linux集群配置

下面我们开始配置Elasticsearch集群环境

1、拷贝文件

首先我们讲es文件夹拷贝三份，并分别命名

cp -r es esA
cp -r es esB
cp -r es esC
1
2
3

2、修改配置文件

修改 /opt/soft/esA/config/elasticsearch.yml 文件

# 集群名称，保证唯一（每个集群中相同，不同集群间唯一）
cluster.name: icoding-course
# 节点名称，必须不一样
node.name: icoding-1
# 是不是有资格成为主节点
node.master: true
# 是否存储数据
node.data: true
# 最大集群节点数
node.max_local_storage_nodes: 3
# ip地址（0.0.0.0为允许所有地址访问）
network.host: 0.0.0.0
# 端口
http.port: 9100
# 内部节点之间沟通端口
transport.tcp.port: 9301
#es7.x  之后新增的配置，节点发现
discovery.seed_hosts: ["localhost:9301","localhost:9302","localhost:9303"]
#es7.x  之后新增的配置，初始化一个新的集群时需要次配置来选举master
cluster.initial_master_nodes: ["icoding-1"]
#数据和存储路径
path.data: /opt/data
path.logs: /opt/logs

#如果是CentOS 6版本  加入以下两行
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

注意：以上配置以esA为实例，另外两台的node.name、http.port、transport.tcp.port要注意修改，不可重复

集群部署中也应该配置单节点配置文件的后三步，但修改的配置完全相同，所以这里就不再赘述了

重新加载

sysctl -p
1

3、分别修改文件所有者

将上面三个es文件的所有者都修改为我们单节点部署时创建的新用户

chmod -R es:es esA
chmod -R es:es esB
chmod -R es:es esC
1
2
3

4、启动三个软件

/opt/soft/seA/bin/elasticsearch
/opt/soft/seB/bin/elasticsearch
/opt/soft/seC/bin/elasticsearch
1
2
3

5、测试

访问http://[Linux IP地址]:[端口号]/_cat/health?v

如果返回的node.total是3，代表集群搭建成功

四、问题总结

1、在elasticsearch启动时如果报错内存不足

（1）问题原因

默认情况下，ES启动JVM最小内存1G，最大内存1G，通常情况下我们在安装Linux虚拟机是不会分配过多的内存，所以导致es启动时内存不足

（2）解决办法

vim /opt/soft/esA/config/jvm.options
vim /opt/soft/esB/config/jvm.options
vim /opt/soft/esC/config/jvm.options
1
2
3

修改为以下配置（如果太小也可能运行不了，视自己的情况而定）

-Xms256m
-Xmx256m
1
2

2、Exception in thread “main” org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore Likely root cause: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore

（1）问题原因

当前用户没有 elasticsearch.keystore 这个动态文件的权限

（2）解决办法

使用root用户删除 elasticsearch.keystore 文件后用创建的用户重新启动即可

3、如果所有配置完成并且全都可以正常启动，只是node.total不等于3

（1）问题原因

3个es库中的数据不同步，相互影响

（2）解决办法

将三个es文件夹中 data 下的文件全部删除再重新启动即可

注意：如果data下有重要数据，记得备份后再进行删除操作