ELK beat篇

beat介绍： 负责采集数据的一款软件，实时洞查日志（filebeat），分析网络数据包（packetbeat），指标采集（metricbeat），等等，将采集的数据发送给elasticsearch，redis，等等。

目前Beats包含六种工具：

    Packetbeat：网络数据（收集网络流量数据）
    Metricbeat：指标（收集系统、进程和文件系统级别的CPU和内存使用情况等数据）
    Filebeat：日志文件（收集文件数据）
    Winlogbeat：windows事件日志（收集Windows事件日志数据）
    Auditbeat：审计数据（收集审计日志）
    Heartbeat：运行时间监控（收集系统运行时的数据）
 

beat原理：

filebeat有两个组件

   Filebeat涉及两个组件：查找器prospector和采集器harvester，来读取文件(tail file)并将事件数据发送到指定的输出。

启动Filebeat时，它会启动一个或多个查找器，查看你为日志文件指定的本地路径。对于prospector所在的每个日志文件，prospector启动harvester。每个harvester都会为新内容读取单个日志文件，并将新日志数据发送到libbeat，后者将聚合事件并将聚合数据发送到你为Filebeat配置的输出。

当发送数据到Logstash或Elasticsearch时，Filebeat使用一个反压力敏感(backpressure-sensitive)的协议来解释高负荷的数据量。当Logstash数据处理繁忙时，Filebeat放慢它的读取速度。一旦压力解除，Filebeat将恢复到原来的速度，继续传输数据。
 

这里使用的filebeat    下载地址dDownload Filebeat • Lightweight Log Asnalysis | Elastic

安装filebeat

 编辑配置文件 filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.1.1.92:9200"]

运行

 ./filebeat -e -c filebeat.yml

效果