Docker Compose搭建ELK_docker-compose 部署elk

---

前言

使用docker compose搭建elk，前提条件是要安装好docker 和docker-compose

一、安装docker

在Linux中安装Docker可以参考官方文档：https://docs.docker.com/install/linux/docker-ce/centos/，主要分为下面这几步：

1.卸载旧版本Docker（如果系统之前没安装过Docker，可以跳过）：

yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
1
2
3
4
5
6
7
8

2.安装Docker所需要的包：

yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2
1
2
3

3.设置稳定的仓库：

yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
1
2
3

4.安装最新版本docker引擎

yum install docker-ce docker-ce-cli containerd.io
1

5.启动docker

systemctl start docker
1

查看是否安装成功：docker -v

二、安装Docker Compose

安装好Docker后，我们接着安装Docker Compose，官方安装教程 https://docs.docker.com/compose/install/，主要步骤为

1.获取Docker Compose的最新稳定版本

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
1

2.对二进制文件授予可执行权限

sudo chmod +x /usr/local/bin/docker-compose
1

3.创建link

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
1

查看是否安装成功：docker-compose -v

三.Docker Compose搭建ELK

在搭建ELK之前，我们需要做一些准备工作。

正如官方所说的那样 https://www.elastic.co/guide/en/elasticsearch/reference/current/vm-max-map-count.html，Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足，我们可以使用下面这条命令来增加内存：

sysctl -w vm.max_map_count=262144
1

创建Elasticsearch数据挂载路径(注意snowy是我项目的名称，所以统一放在下面)：

mkdir -p /snowy/elasticsearch/data
1

对该路径授予777权限：

chmod 777 /snowy/elasticsearch/data 

1
2

创建Elasticsearch插件挂载路径

mkdir -p /snowy/elasticsearch/plugins
1

创建Logstash配置文件存储路径

mkdir -p /snowy/logstash
1

在该路径下创建logstash-snowy.conf配置文件（没有安装vim的话可以使用yum install vim命令安装）：
vim /snowy/logstash/logstash-snowy.conf
内容如下：

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "snowy-logstash-%{+YYYY.MM.dd}"
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

创建ELK Docker Compose文件存储路径：

mkdir -p /snowy/elk
1

在该目录下创建docker-compose.yml文件：

vim /snowy/elk/docker-compose.yml
1

内容如下：

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.13.2
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch"
      - "discovery.type=single-node"
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /snowy/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /snowy/elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
  kibana:
    image: kibana:7.13.2
    container_name: kibana
    links:
      - elasticsearch:es
    depends_on:
      - elasticsearch
    environment:
      - "elasticsearch.hosts=http://es:9200"
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.13.2
    container_name: logstash
    volumes:
      - /snowy/logstash/logstash-snowy.conf:/usr/share/logstash/pipeline/logstash.conf
    depends_on:
      - elasticsearch
    links:
      - elasticsearch:es
    ports:
      - 4560:4560
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

切换到/snowy/elk目录下，使用如下命令启动：

docker-compose up -d
1

第一次启动的时候，Docker需要拉取ELK镜像，过程可能稍慢，耐心等待即可。成功启动后，观察容器运行情况（docker ps -a）：

如果实在太慢建议切换到国内镜像源

使用浏览器访问http://192.168.81.131:5601便可以看到Kibana管理界面

项目整合修改微服务日志模块，引入依赖：

在logback-spring.xml里添加如下配置（此处是演示代码所以在本地环境上配置了logstash,建议生产环境才使用）：

打开kibana管理界面，找到如下图所示，创建Kinaba Index Patterns

在Index pattern里输入我们在logstash配置文件logstash-febs.conf里output.index指定的值snowy-logstash-*

点击Next Step，在下拉框里选择@timestamp：最后完成即可，图不展示了。然后请求调用后台的接口，在Kibana里搜索这笔日志：

总结

此文根据febs-cloud的文档学习操作而写，收益良多，感谢。