devbox
繁依Fanyi0
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【临窗旋墨】filebeat收集日志输出到logstash然后合并输出到同名文件(7.7.1)_filebeat输出到文件

作者：繁依Fanyi0 | 2024-02-23 09:55:30

赞

踩

filebeat输出到文件

文章目录

filebeat收集日志输出到logstash然后合并输出到同名文件(7.7.1)

Vic.xu 20200930

目标：多台集群机器日志收集到一起，且同名输出，能记录来源机器
  1. 多台机器输出的日志名是相同的，比如机器A 输出的日志包括err.log，sql.log，common.log等
  2. 希望收集多台机器的日志，输入到同名日志文件，比如把A机器和B机器的err.log，sql.log，common.log收集到C机器的err.log，sql.log，common.log；
  3. 在日志中标识来自哪一台机器；
  4. 多行日志需要合并，比如一个堆栈信息；
前言：项目有点老了（着急的话，直接跳到最后看结论吧）

​ 一说分布式日志收集分析系统，网上都有一大推的关于ELK的文章。 不过咱的项目比较老了，只是最近才真正做了集群部署，所以才会涉及到分布式的日志收集。

​ 不过，项目中暂时也不会做日志分析之类的东西。所以就准备先弄一个filebeat收集日志到logstash，然后通过logstash定向输出到文件即可。加上之前因为开发环境和测试环境的隔离，所以写了个实时页面查看日志的小项目，也是勉强够用了。

版本：(因为之前使用过ElasticSearch的版本是7.7.1)

  • Filebeat 7.7.1
  • Logstash 7.7.1
一 为什么不只使用Logstash,而是额外引入了Filebeat
  1. 因为logstash是jvm跑的，资源消耗比较大，
  2. filebeat更轻量，占用资源更少
  3. 一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中
二 基本思路 Filebeat + Logstash

  1. 在各个需要收集日志的机器上FileBeat , 配置输出到远程的Logstash中

  2. 在接收日志文件的机器上安装Logstash，收集各个Filebeat发送来到日志，输出到文件

    • Logstash的input方式有很多，包括Filebeat，kafka等： https://www.elastic.co/guide/en/logstash/current/input-plugins.html

    • Logstash的output方式有很多,非常方便后续扩展，参见官网

      • 由于本系统无特殊的处理日志的需求，可直接把收集到的日志输出到文件即

      • 输出到文件

        output {
    file {
        path => "/path/to/%{+yyyy/MM/dd/HH}/%{host}.log.gz"
        message_format => "%{message}"
        gzip => true
    }
}

        • 1
        • 2
        • 3
        • 4
        • 5
        • 6
        • 7
三 windows下简单测试Filebeat

  1. 官网下载windows版本

  2. 修改filebeat.yml，具体参考官网

    filebeat.inputs:
- type: log

  enabled: true
  fields:
    name: vic_first
  paths:
 #   - /var/log/*.log
    - E:/space/idea/blog/logback/*.log

output.file:
  path: d:/filebeat
  filename: filebeat_vic.log
  codec.format:
    string: '%{[fields][name]}%{[@timestamp]} %{[message]}'
  rotate_every_kb: 10240

# 是否开启多行合并
multiline.type: pattern
#multiline.pattern: '^\['
multiline.pattern: '^vic-blog'
multiline.negate: false
multiline.match: after

#============================= Filebeat modules ===============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 如上：
      1. 配置了需要收集的日志文件的位置。
      2. fields 下是携带的额外的数据，一般作为标识使用
      3. 配置了日志的输出的文件
      4. 配置合并多行：因为默认是读取一行就发送，但是其实有的时候多行才算一个日志，比如堆栈信息等

  3. 启动Filebeat,然后测试写入日志，会被写入到输出位置

    .\filebeat.exe -e -c filebeat.yml

  4. 其他

    1. 输出到es：

      output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11

    2. 输出到logstash

      output.logstash:
  # The Logstash hosts

      • 1
      • 2

hosts: [“localhost:5044”]

  ```

  • 1
四 windows下简单测试Logstash

  1. 官网下载zip解压，

  2. cofig下复制logstash.conf，然后配置成控制台输入输出：

    input {
  beats {
    port => 5044
  }
}


filter {
    ruby {
        code => "
            path = event.get('log')['file']['path']
            puts format('path = %<path>s', path: path)
            if (!path.nil?) && (!path.empty?)
                event.set('filename', path.split('/')[-1])
            end
        "
    }
}

output {
  file   {
#    path => "/data/share/logs/output/logstash/%{+yyyy-MM-dd}/%{+HH}-vic.log" 
    path => "/data/share/logs/output/logstash/%{+yyyy-MM-dd}/%{filename}"
        codec => line { format => "%{filename} %{[fields][name]}: %{message}"}
  }

  stdout {
    codec => rubydebug
  }

}
~                   

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32

  3. 启动Logstash

    bin\logstash -f config\logstash.conf

    • 启动成功后可访问localhost:9600，看到版本等信息，则表示启动成功
    • 测试：在启动控制台输入信息， 可看到相关输出信息
一些问题：

  1. 在logstash中获取Filebeat中的日志原文件名，然后输出到同名文件:通过filter实现

    如下，获取输入的日志文件的文件名filename，通过%{filename}获取

    filter {
    ruby {
        code => "
            path = event.get('log')['file']['path']
            puts format('path = %<path>s', path: path)
            if (!path.nil?) && (!path.empty?)
                event.set('filename', path.split('/')[-1])
            end
        "
    }
}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

  2. filebeat携带额外的信息到，标志来自哪台机器，通过fields携带(如下，携带的key是name，value是server1)

    filebeat.inputs:
- type: log
  enabled: true
  fields:
    name: server1

    • 1
    • 2
    • 3
    • 4
    • 5

  3. logstash获取filebeat携带的额外的信息

    %{[fields][name]}

    • 1

  4. filebeat 不发送最后一行

    Filebeat使用换行符来检测事件的结束。 如果将行逐渐添加到正在采集的文件中，则在最后一行之后需要换行符，否则Filebeat将不会读取文件的最后一行。

五 总结： linux下的启动脚本和最终配置文件

linux下的安装和window下没什么区别，logstash需要确保安装了jdk1.8+;

启动也是一样的， 只是本人比较懒， 所以写了两个启动脚本start.sh ；运行时带参数的话则输出日志到catalina.out，不带参数则不输出日志

linux下的filebeat的启动脚本
#!/bin/bash

log="/dev/null"
# if input paramter is not null ,then output log to catalina.out. else to /dev/null

if [ $1 != '' ];then
  log="catalina.out"	
fi

nohup ./filebeat -e -c filebeat.yml >$log 2>&1 &

echo "start   filebeat.......... ----> $log" 


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
linux下的logstash的启动脚本
#!/bin/bash

log="/dev/null"
# if input paramter is not null ,then output log to catalina.out. else to /dev/null

if [ $1 != '' ];then
  log="catalina.out"	
fi
nohup bin/./logstash -f config/logstash.conf >$log 2>&1 & 
echo "start logstash.......... ----> $log" 

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
filebeat.yaml最终配置文件(见注释)
# 输入日志
filebeat.inputs:
- type: log
  enabled: true
  # 携带的额外的数据，标识来自哪个机器
  fields:
     name: wsl-ubuntu      
  # 日志的所在位置
  paths:
    - /data/share/logs/input/*.log  
    - /data/share/logs/input2/*.log  
#=========================== 是否开启多行合并================================
multiline.type: pattern
#多行合并的正则，以[ 开头
multiline.pattern: '^\['
# 是否不合并多行合并： 负负得正 表示开启
multiline.negate: false
multiline.match: after
#==========================输出日志到logstash==============================
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
logstash.conf最终配置文件(见注释)
#======从filebeat获取日志==============================
input {
  beats {
    port => 5044
  }
}

#=====解析出来源日志的文件名===================================
filter {
    ruby {
        code => "
            path = event.get('log')['file']['path']
            puts format('path = %<path>s', path: path)
            if (!path.nil?) && (!path.empty?)
                event.set('filename', path.split('/')[-1])
            end
        "
    }
}
#======输出日志==============================
output {
#  输出日志到文件，在日志的开头打印filebeat中携带的name属性，标识来自哪个文件
  file   {
    path => "/data/share/logs/output/logstash/%{+yyyy-MM-dd}/%{filename}"
	codec => line { format => "%{[fields][name]}: %{message}"}
  }
  # 输出日志到控制台  可删除掉
  stdout { 
    codec => rubydebug
  }
  
}


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33

文章来源：临窗旋墨的博客，转载注明出处。

时间： 20200930

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/135508
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号