ElasticSearch集群、Kibana（elasticSerach可视化工具）部署_elasticsearch 和 kibana 的集成

• ElasticSearch集群部署
  1、安装JDK

进入安装文件目录
cd   /home/installfiles/
将安装文件解压至安装软件目录
tar  -zxvf jdk-8u144-linux-x64.tar.gz  -C  /tools/
vi   /etc/profile
#在文件末尾添加
export JAVA_HOME=/tools/jdk1.8.0_144
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
#保存退出后，使配置生效
source  /etc/profile
#查看是否安装成功
java -version
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

备注：如果java -version出来的结果是openjdk的版本，请删除原有openjdk版本后再进行操作。
2、上传并解压安装包

cd   /home/installfiles/  
tar  -zxvf  elasticsearch-6.2.2.tar.gz  -C  /tools/ 
mkdir -p  /tools/elasticsearch/data
mkdir -p  /tools/elasticsearch/logs

1
2
3
4
5

3、修改配置文件
es集群部署过程中两台elasticsearch服务器除第三步修改配置文件略有差异外其余步骤一致

进入到es安装目录下的config文件夹中，修改elasticsearch.yml 文件
cd /tools/elasticsearch-6.2.2/
vi config/elasticsearch.yml

在文件末尾添加以下内容（按“i”进入编辑）
elasticsearch主节点服务器node-1配置（文档中安装环境为linux虚拟机，现场部署配置文件中的ip地址192.168.201.134需修改为对应服务器的真实地址）
# ---------------------------------- Cluster -----------------------------------
#es的集群名称，默认是elasticsearch,es会自动发现在同一网段下的es,如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
cluster.name: airspace-es
# ------------------------------------ Node ------------------------------------
#节点名称
node.name: node-1
#是否有资格成为主节点
node.master: true
#是否是数据节点
node.data: true
# ----------------------------------- Paths ------------------------------------
#设置es数据的存储路径
path.data: /tools/elasticsearch/data
#设置es日志的存储路径
path.logs: /tools/elasticsearch/logs
# ----------------------------------- Memory -----------------------------------
# Lock the memory on startup:
#bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
#设置当前的ip地址,通过指定相同网段的其他节点会加入该集群中r
network.host: 192.168.201.134
#设置对外服务的http端口,默认是 9200
http.port: 8090
#设置节点之间交互的tcp端口，默认是9300。
transport.tcp.port: 8091
# --------------------------------- Discovery ----------------------------------
#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点
discovery.zen.ping.unicast.hosts: ["192.168.201.134:8091","192.168.201.135:8091"]
# ---------------------------------- Gateway -----------------------------------
gateway.recover_after_nodes: 2
# ---------------------------------- Various -----------------------------------
#action.destructive_requires_name: true
#es默认不允许其他服务器访问，设置跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
elasticsearch副本节点服务器node-2配置（文档中安装环境为linux虚拟机，现场部署配置文件中的ip地址192.168.201.135需修改为对应服务器的真实地址）
# ---------------------------------- Cluster -----------------------------------
#es的集群名称，默认是elasticsearch,es会自动发现在同一网段下的es,如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
cluster.name: airspace-es
# ------------------------------------ Node ------------------------------------
#节点名称
node.name: node-2
#是否有资格成为主节点
node.master: false
#是否是数据节点
node.data: true
# ----------------------------------- Paths ------------------------------------
#设置es数据的存储路径
path.data: /tools/elasticsearch/data
#设置es日志的存储路径
path.logs: /tools/elasticsearch/logs
# ----------------------------------- Memory -----------------------------------
# Lock the memory on startup:
#bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
#设置当前的ip地址,通过指定相同网段的其他节点会加入该集群中r
network.host: 192.168.201.135
#设置对外服务的http端口,默认是 9200
http.port: 8090
#设置节点之间交互的tcp端口，默认是9300。
transport.tcp.port: 8091
# --------------------------------- Discovery ----------------------------------
#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点
discovery.zen.ping.unicast.hosts: ["192.168.201.134:8091","192.168.201.135:8091"]
# ---------------------------------- Gateway -----------------------------------
gateway.recover_after_nodes: 2
# ---------------------------------- Various -----------------------------------
#action.destructive_requires_name: true
#es默认不允许其他服务器访问，设置跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
保存并退出(按ESC后输入 :wq)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79

elasticserach.yml配置详解

4、修改用户最大可创建文件数

以root用户登录，编辑limits.conf配置文件
vi /etc/security/limits.conf
添加如下内容: 注意*不要去掉了
* soft nofile 65536
* hard nofile 131072
备注：* 代表Linux所有用户名称（比如 es）
需要保存、退出、重新登录才可生效。

1
2
3
4
5
6
7
8

5、修改用户最大可创建线程数

以root用户登录，切换至/etc/security/limits.d/目录下编辑20-nproc.conf文件（名称可能不同，通过ls确定名称后编辑）
找到如下内容：
* soft nproc 1024
#修改为
* soft nproc 4096
cd /etc/security/limits.d/
ls
vi 20-nproc.conf
1
2
3
4
5
6
7
8

6、修改最大虚拟内存大小

以root用户登录，
查看当前最大虚拟内存大小：
sysctl  -a|grep vm.max_map_count
如果太小则修改为比较大一点的数，根据服务器配置，一般为256M以上，示例设置为512M
vi /etc/sysctl.conf
添加以下参数
vm.max_map_count=524288

1
2
3
4
5
6
7
8

7、启动elasticsearch服务

elasticsearch不允许以root用户启动，所以需要创建独立账号以用户名/密码 es/es 为例
useradd es -p es
以root用户向es用户授权，允许操作软件安装目录下的所有文件
chown -R es /tools/
开放8090、8091端口
firewall-cmd --permanent --add-port=8090/tcp
firewall-cmd --permanent --add-port=8091/tcp
firewall-cmd --reload

1
2
3
4
5
6
7
8
9

切换至es用户并启动elasticsearch服务
su es
cd /tools/elasticsearch-6.2.2/
bin/elasticsearch
出现集群所有主机信息则启动集群成功
#使用./elasticsearch -d 命令进行后台启动
1
2
3
4
5
6

8、测试是否启动成功
浏览器输入http://192.168.201.134:8090/_cat/nodes?v可查看es集群节点信息(*表示ES集群的master主节点)

• Kibana部署
  1、解压部署文档目录中kibana-7.0.1-linux-x86_64.tar.gz到部署目录
  2、修改配置文件vim config/kibana.yml
  
  修改的配置：
  server.port： 访问端口
  server.host： 访问ip
  elasticsearch.hosts：es集群地址
  注意，在每个冒号后必须都有一个空格