Elasticsearch 环境搭建_elasticsearch搭建

1. 安装包下载

到官网下载安装包：
Elasticsearch安装包

2. 固定集群ip地址

通常来说elasticsearch集群需要由3台物理机构成，其中一个作为masterNode，其余两个作为dataNode，为了防止物理机的ip地址发生变化造成集群彼此之间无法连接的问题，所以需要先固定ip地址。

2.1 对VMware进行设置

我这里是在 VMware 上安装了三台虚拟机作为三台物理机，因此需要先对VMware的网关进行设置。
详见 CentOS7 设置固定IP地址CentOS7 设置固定IP地址

分别固定三台虚拟机的IP地址，完成后使用Xshell进行连接。

3. 新建用户组和用户

因为ElasticSearch不支持Root用户直接操作，必须使用普通用户来安装启动，这里我们创建一个普通用户，以及定义一些常规目录用于存放我们的数据文件以及安装包等。

3.1 创建用户esjie

• root 用户下

# 创建用户组，以及创建esjie用户

# 创建 elasticsearch 用户组
groupadd elasticsearch

# 创建 esjie 用户
useradd esjie

# 设置 esjie 用户密码
passwd esjie

# 添加 esjie 用户到 elasticsearch 组 
[root@centos7node1 ~]# usermod -G elasticsearch esjie

# 修改 /home/esjie 文件所有者为 esjie
[root@centos7node1 ~]# chown -R esjie /home/esjie
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

此外还需要设置 esjie 的 sudo 权限。通常来说，为了让用户有更大的操作权限，会给普通用户设置速冻权限，方便普通用户的操作。使用 root 用户执行 visudo 命令，然后为esjie用户添加权限。

visudo

# 在 root    ALL=(ALL)       ALL 下面一行，添加用户 esjie，如下所示
# esjie   ALL=(ALL)       ALL

1
2
3
4
5

3.2 创建目录

# 切换成 esjie 用户
su esjie

# 新建软件存放目录
mkdir serve

# 新建数据存放目录
mkdir -p data/esdata

# 新建日志存放目录
mkdir -p log/eslog

# 解压软件到 serve 目录
# 解压 jdk
tar -zxvf jdk-11.0.16_linux-x64_bin.tar.gz -C serve/
# 解压 es
tar -zxvf elasticsearch-7.10.2-linux-x86_64.tar.gz -C serve/

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

4. 配置es运行环境

4.1 卸载 centos7 自有的 jdk

# 切换到 root 用户
su

# 检查 java 的版本
java -version

# 或
rpm -qa | grep java
1
2
3
4
5
6
7
8

# 删除已经安装的 JDK
sudo yum remove java-1.*
1
2

4.2 配置 java 运行环境

# 切换 root 用户
su

# 配置jdk-11.0.16 环境变量
vim /etc/profile

# 在 /etc/profile末尾添加，其中 /home/esjie/serve/jdk-11.0.16 是 jdk 的绝对路径
export JAVA_HOME=/home/esjie/serve/jdk-11.0.16
export PATH=$PATH:$JAVA_HOME/bin

# 使环境变量生效
source /etc/profile

# 验证 java 环境
java -version

# 将用户切换为 esjie
su esjie
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

4.3 关闭虚拟机防火墙

# 切换 root 用户
su

# 检查防火墙状态
systemctl status firewalld

# 关闭防火墙
systemctl stop firewalld

# 设置开机禁用防火墙
systemctl disable firewalld.service
1
2
3
4
5
6
7
8
9
10
11

此外还有 启动防火墙 作为补充

# 设置开机禁用防火墙
systemctl disable firewalld.service

# 启动防火墙
systemctl start firewalld
1
2
3
4
5

5. 修改es配置文件

5.1 修改elasticsearch.yml

vim serve/elasticsearch-7.10.2/config/elasticsearch.ym
1

# Use a descriptive name for your cluster:
# 设置集群名称，集群内所有节点的名称必须一致。
cluster.name: test-application

# Use a descriptive name for the node:
# 设置节点名称，集群内节点名称必须唯一。
node.name: node-1

# 新增 节点角色设置
# 节点角色设置
node.roles: ["master", "data"]

# Path to directory where to store the data (separate multiple locations by comma):
# 索引数据存放的位置
path.data: /home/esjie/data/esdata

# Path to log files:
# 日志文件存放的位置
path.logs: /home/esjie/log/eslog

# Lock the memory on startup:
#  需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false

# 新增
bootstrap.system_call_filter: false

# Set the bind address to a specific IP (IPv4 or IPv6):
#  监听地址，用于访问该es
network.host: 0.0.0.0

# Set a custom port for HTTP:
#  es对外提供的http端口，默认 9200
http.port: 9200

# 新增 TCP的默认监听端口，默认 9300
transport.tcp.port: 9300

# The default list of hosts is ["127.0.0.1", "[::1]"]
#  es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: [192.168.209.133:9300]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5

# Bootstrap the cluster using an initial set of master-eligible nodes:
#  es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1"]

# 新增 是否支持跨域，是：true
http.cors.enabled: true

# 新增  “*” 表示支持所有域名
http.cors.allow-origin: "*"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

5.2 修改 jvm.option

修改 jvm.option 配置文件，调整jvm堆内存大小。每个人 根据自己服务器 的内存大小来进行调整。
注意： 确保堆内存最小值（Xms）与最大值（Xmx）的大小相同，防止程序在运行时改变堆内存大小。 堆内存大小不要超过系统内存的50%

vim serve/elasticsearch-7.10.2/config/jvm.options
1

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space
-Xms1g
-Xmx1g
1
2
3
4

5.2 修改 limits.conf

ES 因为需要大量的创建索引文件，需要大量的打开系统文件，所以我们需要解除 linux 系统当中打开文件最大数目的限制，不然 ES 启动就会抛错。

# 切换 root 用户
su

vim /etc/security/limits.conf 
1
2
3
4

# 在 /etc/security/limits.conf 末尾做如下修改，增加最大进程数
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
1
2
3
4
5

注意：

1. * 不要去掉了
2. 此文件修改后需要重新登录用户，才会生效

5.3 修改 sysctl.conf

增加最大内存映射数

vim /etc/sysctl.conf
1

# 在 /etc/sysctl.conf 中新增
vm.max_map_count=655360
vm.swappiness=0
1
2
3

5.4 使配置生效

# 从指定的文件加载系统参数，如不指定即从/etc/sysctl.conf中加载
sysctl -p

# 切换用户
su esjie 
1
2
3
4
5

5.5 启动 elasticsearch

# 切换目录
cd serve/elasticsearch-7.10.2/bin/

# 启动es 
./elasticsearch -d
1
2
3
4
5

通过浏览器访问

附录1：修改启动时的错误

6.1 错误情况1

[1]:max file descriptors [4096] for elasticsearch process is too low, increase to at least[65536]

解决方法： 切换到root用户，编辑limits.conf添加如下内容

vim /etc/security/limits.conf
1

添加如下内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
1
2
3
4

6.2 错误情况2

[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
ERROR: Elasticsearch did not exit normally - check the logs at /soft/elsearch/logs/elasticsearch.log

解决方法： 继续修改配置 elasticsearch.yaml

vim elasticsearch.yml 
1

6.3 远程连接出错

检查防火墙状态：

systemctl status firewalld.service
1

执行后可以看到绿色字样标注的“active（running）”，说明防火墙是开启状态

关闭运行的防火墙

systemctl stop firewalld.service 
1

永久关闭防火墙

systemctl disable firewalld.service
1

查看防火墙状态

systemctl status firewalld.service
1

可以看到，disavtive（dead）的字样，说明防火墙已经关闭

附录2： Docker版安装

我真的是刚刚知道docker是个什么东西，觉得这玩意真好用，用起来真简单，因为我们需要部署在Linux下，为了以后迁移ElasticStack环境方便，我们就使用Docker来进行部署，首先我们拉取一个带有ssh的centos docker镜像。

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.14.0

docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.14.0
1
2
3

这就算成了，真的简单很多具体的说明可以参考官网