赞
踩
filebeat是一个用于转发和收集日志数据的轻量级托运工具,监控日志文件或指定的本地路径,收集日志事件,并转发到Elasticsearch和Logstash用于检索。
Filebeat工作介绍:当启动Filebeat时,它启动一个或多个输入,这些输入查看为日志数据指定的位置。对于Filebeat定位的每个日志,Filebeat都会启动一个收集器。每个收集器读取单个日志以获取新内容,并将新日志数据发送给libbeat, libbeat聚合事件并将聚合的数据发送到为Filebea配置的输出。
filebeat官网:https://www.elastic.co/guide/en/beats/filebeat/current/index.html
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch [root@docker1 yum.repos.d]# cat << EOF >> > [elastic-8.x] > name=Elastic repository for 8.x packages > baseurl=https://artifacts.elastic.co/packages/8.x/yum > gpgcheck=1 > gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch > enabled=1 > autorefresh=1 > type=rpm-md > EOF -bash: syntax error near unexpected token `newline' [root@docker1 yum.repos.d]# cat << EOF >> /etc/yum.repos.d/elastic.repo > [elastic-8.x] > name=Elastic repository for 8.x packages > baseurl=https://artifacts.elastic.co/packages/8.x/yum > gpgcheck=1 > gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch > enabled=1 > autorefresh=1 > type=rpm-md > EOF [root@docker1 yum.repos.d]# ll elastic.repo -rw-r--r-- 1 root root 214 Apr 25 14:00 elastic.repo [root@docker1 yum.repos.d]# systemctl start filebeat #启动filebeat服务,二进制方式安装,直接使用fielbeat命令启动,默认在前台运行。
对filebeat配置文件做出一些解释,本文将从文件读取日志,经过filebeat输出到logstash,其他没有涉及到的配置可以参考filebeat官方文档进行配置。
rpm方式安装配置文件路径:/etc/filebeat/filebeat.yml
filebeat.inputs: - type: filestream #日志输入类型 enabled: true #激活输入配置,默认是false paths: #日志输入路径,支持通配符,支持列表方式写出多个路径 - /usr/local/apache-tomcat-8.5.99/logs/* # 以下配置是合并java多行日志 parsers: - multiline: type: pattern pattern: '^[[:space:]]' negate: false match: after # ------------------------------ Logstash Output ------------------------------- output.logstash: hosts: ["10.10.0.3:5044"] #logstash的主机地址和端口 codec.json: #输出到logstash的日志格式 # ================================= Processors ================================= processors: #通过processors增加或删除原始数据的阈值,下面一些元数据在不需要的场景下可以禁止,防止输出一些无用的数据。 # - add_host_metadata: # when.not.contains.tags: forwarded # - add_cloud_metadata: ~ # - add_docker_metadata: ~ # - add_kubernetes_metadata: ~
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。