ELK企业级日志分析系统

一.ELK日志分析系统

1. ELK简介

ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kibana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求

1.1 ELK——日志服务器

• 提高安全性

• 集中存放日志

缺陷

• 对日志的分析困难

1.2 日志处理步骤

1.将日志进行集中化管理

2.将日志格式化(Logstash)并输出到Elasticsearch

3.对格式化后的数据进行索引和存储(Elasticsearch)

4.前端数据的展示(Kibana)

1.3 ELK日志分析系统

• Elasticsearch

• Logstash

• Kibana

1.3.1 ElasticSearch 

ES是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 ES是用JAVA开发的，可通过RESTful Web接口，让用户可以通过浏览器与ES通信。

Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

ES是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。

1.3.2 Logstash

① Logstash介绍

• 一款强大的数据处理工具

• 可实现数据传输、格式处理、格式化输出

• 数据输入、数据加工(如过滤，改写等)以及数据输出

② LogStash主要组件

• Shipper

• oIndexer

• eBroker

• Search and Storage

• Web Interface

③ 数据流向

Logstash作为数据收集引擎。它支持动态的从各种数据源搜索数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置，一般会发送给ES。 Logstash由 Ruby 语言编写，运行在JAVA虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能，常用于日志处理。

④ 可以添加的其它组件——Filebeat:

Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash进或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash优势明显，是对它的替代。常应用于EFLK架构当中。行解析，

filebeat 结合 logstash 带来好处:

(1)通过 Logstash

具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻lasticsearch持续写入数据的压力

(2)从其他数据源(例如数据库，s3对象存储或消息传递队列)中提取

(3)将数据发送到多个目的地，例如S3，HDFS(Hadoop分布式文件系统)或写入文件

(4)使用条件数据流逻辑组成更复杂的处理管道

缓存/消息队列(redis、kafka、RabbitMQ等):可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

⑤ 可以添加的其它组件——Fluentd 

Fluentd:是一个流行的开源数据收集器。由于 logstash 太重量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。 在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

1.3.3 Kibana

Kibana是基于Node.js开发的展示工具，可以为Logstash和ES提供图形化的日志分析Web界面展示，可以汇总、分析和搜索重要数据日志。

① Kibana介绍

• 一个针对Elasticsearch的开源分析及可视化平台

• 搜索、查看存储在Elasticsearch索引中的数据

• 通过各种图表进行高级数据分析及展示

② Kibana主要功能

• Elasticsearch无缝之集成

• 整合数据，复杂数据分析

• 让更多团队成员受益

• 接口灵活，分享更容易

• 配置简单，可视化多数据源

• 简单数据导出

2. ELK的使用原因 

日志主要包括日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

3. 完整日志系统的基本特征

● 收集：能够采集多种来源的日志数据

● 传输：能够稳定的把日志数据解析过滤并传输到存储系统

● 存储：存储日志数据

● 分析：支持UI分析

● 警告：能够提供错误报告，监控机制

4. ELK的工作原理

（1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署Logstash。

（2）Logstash收集日志，将日志格式化并输出到es群集中。

（3）ES对格式化后的数据进行索引和存储。

（4）Kibana从ES群集中查询数据生成图表，并进行前端数据的显示。

总结:logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。 

二.部署ELK日志分析系统 

 实验环境

Node1:192.168.209.60（Elasticsearch Kibana）

Node2:192.168.209.61（Elasticsearch）

Apache：192.168.209.62（Logstash Apache）

 关闭防火墙

systemctl stop firewalld
setenforce 0

 ELK ElasticSearch集群部署（在node1、node2节点上操作）

 环境准备（更改主机名、配置域名解析、查看Java环境）

 以node1为例

[root@localhost ~]# hostnamectl set-hostname node1
[root@localhost ~]# su
[root@node1 ~]# echo "192.168.80.111 node1" >> /etc/hosts
[root@node1 ~]# echo "192.168.80.112 node2" >> /etc/hosts
[root@node1 ~]# java -version
#如果没有安装，可使用“yum install -y java”进行安装

部署ElasticSearch软件

安装elasticsearch-rpm包

以node1为例

[root@node1 ~]# cd /opt
[root@node1 opt]# rz -E
#上传elasticsearch-5.5.0.rpm到/opt目录下
rz waiting to receive.
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm 
#解压安装

加载系统服务

以node1为例

[root@node1 opt]# systemctl daemon-reload
#重启服务
[root@node1 opt]# systemctl enable elasticsearch.service 
#设为开机自启
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

修改elasticsearch主配置文件

以node1为例

[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#备份配置文件
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
 
##17行，取消注释，指定群集名称
cluster.name: my-elk-cluster
##23行，取消注释，指定节点名称（node1节点为node1，node2节点为node2）
node.name: node1
##33行，取消注释，指定数据存放路径
path.data: /data/elk_data
##37行，取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
##43行，取消注释，改为在启动的时候不锁定内存，开启为true
bootstrap.memory_lock: false
##55行，取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
##59行，取消注释，ES服务的默认监听端口为9200
http.port: 9200
##68行，取消注释，集群发现通过单播实现，指定要发现的节点node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
 
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

创建数据存放路径并授权

以node1为例

[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/

启动elasticsearch

以node1为例

[root@node1 opt]# systemctl start elasticsearch.service 
[root@node1 opt]# netstat -natp | grep 9200

查看节点信息

浏览器访问浏览器访问http://192.168.209.60:9200,http://192.168.209.61:9200

​​

浏览器访问http://192.168.209.60:9200/_cluster/health?pretty、http://192.168.209.61:9200/_cluster/health?pretty查看群集的健康情况，可以看到status值为green(绿色)，表示节点健康运行

绿色：健康 数据和副本全都没有问题

红色：数据都不完整

黄色：数据完整，但副本有问

​

​

两个node节点都为绿色健康 

安装Elasticsearch-head插件

ES在5.0版本后，插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。安装Elasticsarch-head需要提前安装好依赖软件node和phantomjs。

● node 是一个基于Chrome V8引擎的JavaScript运行环境

● phantomjs 是一个基于webkit的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于webkit浏览器做的事情，它都可以做到。

编译安装node

以node1为例

[root@node1 ~]# cd /opt
[root@node1 opt]# rz -E
#上传软件包node-v8.2.1.tar.gz到/opt目录
rz waiting to receive.
[root@node1 opt]# yum install -y gcc gcc-c++ make
[root@node1 opt]# tar zxvf node-v8.2.1.tar.gz 
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j 2 && make install

​

安装phantomjs

以node1为例

[root@node1 node-v8.2.1]# cd /opt
[root@node1 opt]# rz -E
#上传软件包phantomjs-2.1.1-linux-x86_64.tar.bz2到/opt目录
rz waiting to receive.
[root@node1 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src
[root@node1 opt]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin

安装Elasticsearch-head数据可视化工具

以node1为例

[root@node1 bin]# cd /opt
[root@node1 opt]# rz -E
#上传软件包elasticsearch-head.tar.gz到/opt目录
rz waiting to receive.
[root@node1 opt]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 opt]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

修改Elasticsearch主配置文件

以node1为例

[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
 
##末行添加以下内容
http.cors.enabled: true			##开启跨域访问支持，默认为false
http.cors.allow-origin: "*"		##指定跨域访问允许的域名地址为所有
 
[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service 

启动elasticsearch-head服务

以node1为例

[root@node1 elasticsearch-head]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &
[root@node1 elasticsearch-head]# netstat -natp | grep 9100

 通过Elasticsearch-head查看ES信息

通过浏览器访问http://192.168.209.60:9100地址并连接群集。如果看到群集健康值为green，代表群集很健康。