容器化（Docker、K8S）部署Elasticsearch + Kibana_elk 容器化部署

ElasticSearch简介

#简介
Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，可以实现单机和集群部署，轻松缩放规模。

ELK：Elasticsearch + Kibana + Logstash


#官方地址
https://www.elastic.co/cn/
https://www.elastic.co/guide/en/elastic-stack/7.6/overview.html
https://hub.docker.com/_/elasticsearch


#应用场景
日志分析：对IT设备进行运维分析与故障定位、对业务指标分析运营效果。
站内搜索：对网站内容进行关键字检索、对电商网站商品进行检索与推荐。
向量检索：对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

本次实验目标

目标1：Docker部署Elasticsearch + Kibana
目标2：安装中文分词器插件，配置认证
目标3：基本操作演示
目标4：在华为云CCE中部署
目标5：使用Logstash进行数据迁移
目标6：使用华为云CSS服务
视频教程地址：https://www.bilibili.com/video/BV1MP4y1e7u8/?vd_source=8e4a436fd4e37be82e3fee379554aa59
1
2
3
4
5
6
7

实验环境

#实验云资源
ECS：通用计算增强型 | c7.xlarge.2 | 4vCPUs | 8GiB
SFS、CCE

#前期环境条件
1）准备好对应的云资源
2）已安装好Docker，配置加速镜像

#本次实验资源由「淘客科技@华为云」 提供
1
2
3
4
5
6
7
8
9

Docker部署Elasticsearch + Kibana

#准备
$ mkdir -p /cxy/es76/data
$ chmod 777 /cxy/es76/data	#如果不授权，容器里的用户权限不足操作外层目录，启动会失败

#部署ElasticSearch
$ docker run -d --name es7.6 -p 9201:9200 -p 9301:9300 -v "/cxy/es76/data":/usr/share/elasticsearch/data -e "discovery.type=single-node" elasticsearch:7.6.0

#查看日志
$ docker logs es7.6 --since 30m

#访问验证
http://ip:9201

#部署Kibana 
$ docker run --name kibana7.6 -p 5602:5601 -d --link es7.6:elasticsearch kibana:7.6.0
$ docker logs -f kibana7.6 

#修改配置文件
$ docker exec -it kibana7.6 bash
$ cd config
$ vi kibana.yml

1）如果地址不对，改一下地址
2）添加：i18n.locale: "zh-CN"

#改配后重启
$ docker restart kibana7.6

#验证
http://ip:5602
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

安装中文分词器插件，配置认证

#安装中文分词器（版本务必对应）
#下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases?page=8
$ docker cp elasticsearch-analysis-ik-7.6.0.zip es7.6:/usr/share/elasticsearch/plugins/

$ docker exec -it es7.6 bash

#安装插件
$ cd plugins/
$ mkdir analysis-ik
$ mv elasticsearch-analysis-ik-7.6.0.zip  analysis-ik/
$ cd analysis-ik
$ unzip elasticsearch-analysis-ik-7.6.0.zip
$ rm -rf elasticsearch-analysis-ik-7.6.0.zip

#重启服务
$ docker restart es7.6

#验证
POST  _analyze
{
  "analyzer": "ik_max_word",
  "text": "2017春装新款休闲裤女装"
}



#安全设置，认证配置
$ docker exec -it es7.6 bash
$ vi /usr/share/elasticsearch/config/elasticsearch.yml

#开启自带的xpack的验证功能
xpack.security.enabled: true

#重启服务
$ docker restart es7.6

#设置密码
$ docker exec -it es7.6 bash
$ cd /usr/share/elasticsearch/bin
$ ./elasticsearch-setup-passwords interactive
#给每个账号设置密码（toc@Hwy）


#改变kibana
$ docker exec -it kibana7.6 bash
$ vi config/kibana.yml
elasticsearch.username: "kibana"
elasticsearch.password: "123456"

#重启服务
$ docker restart kibana7.6

#验证
登录kibana时需要用  elastic  作为用户名。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

基本操作

#创建索引映射（类似于关系型数据库中的表结构）
PUT /my_store
{
  "mappings" : {
      "properties" : {
        "price" : {
          "type" : "float"
        },
        "productName" : {
          "type" : "text",
          "analyzer" : "ik_smart",
          "search_analyzer" : "ik_max_word"
        },
        "size" : {
          "type" : "text"
        },
        "tag" : {
          "type" : "keyword"
        }
      }
    }
}

#直接新增customer
PUT /customer/_doc/1
{
  "name": "cxy@toc"
}

#查看所有索引
GET _cat/indices

#单条新增，指定id (会删除没有的字段，无变化重复执行：版本会递增)
PUT /my_store/_doc/1
{
  "productName":"李宁休闲裤",
  "size":"L",
  "price":100.5
}

#修改（不会修改没有的字段，无变化重复执行：版本号不变）
POST /my_store/_update/1
{
	"doc":{
  	"productName":"李宁休闲裤G",
  	"size":"L",
  	"price":100.5
  }
}

#查看这条数据 （注意两种方式_version区别）
GET /my_store/_doc/1

#批量插入
POST /my_store/_doc/_bulk
{"index":{}}
{"productName":"2017秋装新款文艺衬衫女装","size":"L","price":100.5}
{"index":{}}
{"productName":"2017秋装新款文艺衬衫女装","size":"M","price":110.5}
{"index":{}}
{"productName":"2017秋装新款文艺衬衫女装","size":"S","price":120.5}
{"index":{}}
{"productName":"2018春装新款牛仔裤女装","size":"M","price":130.5}
{"index":{}}
{"productName":"2018春装新款牛仔裤女装","size":"S","price":140.5}
{"index":{}}
{"productName":"2017春装新款休闲裤女装","size":"L","price":150.5}
{"index":{}}
{"productName":"2017春装新款休闲裤女装","size":"S","price":160.5}

POST /my_store/_doc/_bulk
{"index":{}}
{"productName":"2017春装女裤","size":"L","price":100.5}
{"index":{}}
{"productName":"2017夏装女裤","size":"M","price":110.5}
{"index":{}}
{"productName":"2018秋装女鞋","size":"S","price":120.5}
{"index":{}}
{"productName":"2018冬装女鞋装","size":"M","price":130.5}
{"index":{}}
{"productName":"2019春装男裤","size":"S","price":140.5}
{"index":{}}
{"productName":"2019夏装男裤","size":"L","price":150.5}
{"index":{}}
{"productName":"2019秋装男鞋","size":"S","price":160.5}
{"index":{}}
{"productName":"2019冬装男鞋","size":"S","price":160.5}


#获得总记录数
GET /my_store/_count

#查看索引所有数据
GET /my_store/_search

#查看索引所有数据，排序，分页
GET /my_store/_search
{
  "query": { "match_all": {} },
  "sort": [
    { "price": "asc" }
  ],
  "from": 0,
  "size": 5
}

#条件检索
GET /my_store/_search
{
  "query": { "match": { "size": "S" } }
}

#聚合
GET /my_store/_search
{
  "query": {
    "match": {
      "productName": "春装"
    }
  },
  "size": 0,
  "aggs": {
    "sizes": {
      "terms": {
        "field": "price"
      }
    }
  }
}

#删除所有
POST /my_store/_delete_by_query
{
  "query": { 
    "match_all": {
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138

在华为云CCE中部署

# elasticsearch
镜像：elasticsearch:7.6.0

生命周期 -- 启动后：
/bin/bash
-c
sleep 1s;sed -i '$axpack.security.enabled: true' /usr/share/elasticsearch/config/elasticsearch.yml

环境变量：
discovery.type	single-node

数据存储：
sfs
/usr/share/elasticsearch/data		es/data
/usr/share/elasticsearch/plugins	es/plugins
#注意：这里必须是SFS，不能是OBS（OBS非常的慢，经常会超时）

访问方式：
服务名称：elasticsearch:9200 （一定要是这个名称，因为kibana的kibana.yml里默认配置的是elasticsearch:9200）
#如果这里不是上面配置方式，还要做kibana.yml配置文件的修改



# kibana
镜像：kibana:7.6.0
生命周期 -- 启动后：

/bin/bash
-c
sleep 1s;sed -i '$ai18n.locale: "zh-CN"\nelasticsearch.username: "kibana"\nelasticsearch.password: "123456"' /usr/share/kibana/config/kibana.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

使用Logstash进行数据迁移

#参考
https://support.huaweicloud.com/bestpractice-css/css_07_0009.html
https://help.aliyun.com/document_detail/418418.html#section-wpf-9cg-1m1

#购买一台新的迁移ECS
$ yum install java
$ yum install python

#下载logstash-oss
$ wget https://artifacts.elastic.co/downloads/logstash/logstash-oss-7.6.0-x86_64.rpm
$ yum install logstash-oss-7.6.0-x86_64.rpm

$ vim /etc/logstash/jvm.options
-Xms4g
-Xmx4g

$ cd /etc/logstash/conf.d/
$ vim logstash-es-es-all.conf

$ /usr/share/logstash/bin/logstash --path.settings /etc/logstash

#日志位置：/var/log/logstash/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22