devbox
小惠珠哦
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

springboot集成Elk做日志系统_springboot系统接入elk日志系统

作者：小惠珠哦 | 2024-07-16 23:19:13

赞

踩

springboot系统接入elk日志系统

 一、ELK 介绍

ELK是三个开源软件的缩写，分别表示：elasticsearch、logstash、kibanaElasticsearch、Logstash、Kibana作用：

Elasticsearch: 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 ，用于存储日志信息

Logstash: 日志收集，springboot利用Logstash把日志发送个Logstash，然后Logstash将日志传递给Elasticsearch。

Kibana:通过web端对日志进行可视化操作

二、本次采用实现日志收集的方案

logback产生日志->logstash->elasticsearch->kibana

 

优点：

​ 此架构搭建简单，容易上手

缺点：

1、每个节点部署logstash，运行时占用CPU，内存大，会对节点性能造成一定的影响

​ 2、没有将日志数据进行缓存，存在丢失的风险

三、ELK的安装

windows 安装 ELK(Elasticsearch,Logstash,kibana)
下载相应软件包：

Elasticsearch 下载：https://www.elastic.co/downloads/elasticsearch

Logstash 下载：https://www.elastic.co/downloads/logstash

kibana 下载：https://www.elastic.co/downloads/kibana

重点讲一下logstash的安装

首先在 logstash的bin目录下 新建一个 logstash.conf 文件

  1. input { 
  2.  
  3. # stdin { }
  4.  
  5. tcp { 
  6.  
  7. # host:port就是上面appender中的destination，
  8.  
  9. # 这里其实把Logstash作为服务，开启9250端口接收logback发出的消息 
  10. #这个需要配置成本机IP，不然logstash无法启动
  11. host => "127.0.0.1" 
  12. #端口号
  13. port => 9250 
  14. mode => "server" tags => ["tags"] 
  15. #将日志以json格式输入
  16. codec => json_lines 
  17.  
  18. }
  19.  
  20. }
  21.  
  22. filter {
  23.   grok {
  24.     match => [
  25.       "message","%{NOTSPACE:tag}[T ]%{NOTSPACE:method}[T ]%{NOTSPACE:api}[T ]%{NOTSPACE:params}",
  26.       "message","%{NOTSPACE:tag}[T ]%{NOTSPACE:author}[T ]%{NOTSPACE:msg}"
  27.       ]
  28.   }
  29. }
  30.  
  31. output {
  32.  
  33.  elasticsearch { 
  34.         hosts => ["localhost:9200"] 
  35.         index => "logstash-test-%{+YYYY.MM.dd}"
  36.      }
  37.  
  38. stdout { codec => rubydebug }
  39.  
  40. }

然后在新建一个文件 logstashrunservice.bat

输入logstash.bat -f logstash.conf 并保存

 logstash.bat -f logstash.conf

注意此处，可能启动logstash的时候会报错，找不到logstash.conf文件，此时可以试试以下的配置

logstash.bat -f ../logstash-7.11.0/bin/logstash.conf

至此logstash安装完成，elasticsearch和kibana的安装比较简单，此处不多加赘述。

使用 NSSM 软件 将 Elasticsearch，Logstash,kibana 都安装成windows服务

下载NSSM： http://www.nssm.cc/download

下载后解压到文件夹

此处还是以logstash为例进行安装服务，elasticsearch和kibana的安装一样。

将cmd 当前所在目录设置到 nssm.exe 的目录下运行 nssm install

nssm install

单击 install service 就可以了。

服务安装成功之后，在浏览器中输入对应的地址即刻查看安装是否成功

在浏览器中输入 http://127.0.0.1:9200 访问elasticsearch

在浏览器中输入 http://127.0.0.1:9600 访问logstash

在浏览器中输入 http://127.0.0.1:5601 访问kibana

四、Spring Boot 搭建 ELK正确看日志的配置流程(logback)

1.系统中添加依赖

maven版本
  1.   <dependency>
  2.       <groupId>net.logstash.logback</groupId>
  3.       <artifactId>logstash-logback-encoder</artifactId>
  4.       <version>6.6</version>
  5.   </dependency>

2.系统中logback.xml的配置

让logback的日志输出到logstash

  1. <configuration>
  2.     <!-- %m输出的信息, %p日志级别, %t线程名, %d日期, %c类的全名, %i索引 -->
  3.     <!-- appender是configuration的子节点,是负责写日志的组件 -->
  4.     <!-- ConsoleAppender把日志输出到控制台 -->
  5.     <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
  6.         <encoder>
  7.             <pattern>%date{yyyy-MM-dd HH:mm:ss} %highlight(%-5level) (%file:%line\)- %m%n</pattern>
  8.             <!-- 控制台也要使用utf-8，不要使用gbk -->
  9.             <charset>UTF-8</charset>
  10.         </encoder>
  11.     </appender>
  12.  
  13.     <!-- RollingFileAppender:滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件 -->
  14.     <!-- 1.先按日期存日志，日期变了，将前一天的日志文件名重命名为xxx%日期%索引，新的日志仍然是sys.log -->
  15.     <!-- 2.如果日期没有变化，但是当前日志文件的大小超过1kb时，对当前日志进行分割 重名名 -->
  16.     <appender name="syslog" class="ch.qos.logback.core.rolling.RollingFileAppender">
  17.         <File>log/ant-back.log</File>
  18.         <!-- rollingPolicy:当发生滚动时，决定 RollingFileAppender 的行为，涉及文件移动和重命名。 -->
  19.         <!-- TimeBasedRollingPolicy： 最常用的滚动策略，它根据时间来制定滚动策略，既负责滚动也负责出发滚动 -->
  20.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
  21.             <!-- 活动文件的名字会根据fileNamePattern的值，每隔一段时间改变一次 -->
  22.             <!-- 文件名：log/sys.2017-12-05.0.log -->
  23.             <fileNamePattern>log/ant-back.%d.%i.log</fileNamePattern>
  24.             <!-- 每产生一个日志文件，该日志文件的保存期限为120天 -->
  25.             <maxHistory>120</maxHistory>
  26.             <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
  27.                 <!-- maxFileSize:这是活动文件的大小，默认值是10MB,本篇设置为100MB -->
  28.                 <maxFileSize>100MB</maxFileSize>
  29.             </timeBasedFileNamingAndTriggeringPolicy>
  30.         </rollingPolicy>
  31.         <encoder>
  32.             <!-- pattern节点，用来设置日志的输入格式 -->
  33.             <pattern>
  34.                 %d %p (%file:%line\)- %m%n
  35.             </pattern>
  36.             <!-- 记录日志的编码 -->
  37.             <charset>UTF-8</charset>
  38.         </encoder>
  39.     </appender>
  40.     <!-- 控制台日志输出级别 -->
  41.    <!-- <root level="info">
  42.         <appender-ref ref="STDOUT"/>
  43.     </root>-->
  44.     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
  45.     <!-- com.example.ant为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
  46.     <!-- 级别依次为【从高到低】：FATAL > ERROR > WARN > INFO > DEBUG > TRACE  -->
  47.     <!--<logger name="com.example.ant" level="FATAL">
  48.         <appender-ref ref="syslog"/>
  49.     </logger>-->
  50.  
  51.  
  52.  
  53.  
  54.     <!-- 为logstash输出的JSON格式的Appender -->
  55.     <appender name="logstash"
  56.               class="net.logstash.logback.appender.LogstashTcpSocketAppender">
  57.         <!--可以访问的logstash日志收集端口-->
  58.         <destination>127.0.0.1:9250</destination>
  59.         <!-- 日志输出编码 -->
  60.         <encoder
  61.                 class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
  62.             <providers>
  63.                 <timestamp>
  64.                     <timeZone>UTC</timeZone>
  65.                 </timestamp>
  66.                 <pattern>
  67.                    <pattern>
  68.                         {
  69.                         "thread": "%thread",
  70.                         "logLevel": "%level",
  71.                         "message": "%message",
  72.                         "class": "%logger{40}",
  73.                         "serviceName": "${springAppName:-}",
  74.                         "trace": "%X{X-B3-TraceId:-}",
  75.                         "span": "%X{X-B3-SpanId:-}",
  76.                         "exportable": "%X{X-Span-Export:-}",
  77.                         "pid": "${PID:-}"
  78.  
  79.                         }
  80.                     </pattern>
  81.                 </pattern>
  82.             </providers>
  83.         </encoder>
  84.     </appender>
  85.  
  86.     <!-- 日志输出级别 -->
  87.     <root level="INFO">
  88.         <appender-ref ref="STDOUT"/>
  89.         <appender-ref ref="logstash" />
  90.     </root>
  91.  
  92. </configuration>

3.Kibana的使用

重启自己本地的项目，去浏览器的ELk中建立索引，查看刚才从系统中导入logstash的日志

kibana中文化：

在config目录下找到kibana.yml文件，最后一行添加

i18n.locale:“zh-CN”

然后重启kibana服务

3.1、建立索引模式

索引模式创建完成，如何查看日志呢？

五、Spring Boot 搭建 ELK正确看日志的配置流程(log4j)

pom依赖

需要将starter和stater-web中引入的log包排除，再引入log4j2依赖包

  1. <dependency>
  2.     <groupId>org.springframework.boot</groupId>
  3.     <artifactId>spring-boot-starter</artifactId>
  4.     <version>2.1.5.RELEASE</version>
  5.     <exclusions>
  6.         <exclusion>
  7.             <groupId>org.springframework.boot</groupId>
  8.             <artifactId>spring-boot-starter-logging</artifactId>
  9.         </exclusion>
  10.     </exclusions>
  11. </dependency>
  12. <dependency>
  13.     <groupId>org.springframework.boot</groupId>
  14.     <artifactId>spring-boot-starter-web</artifactId>
  15.     <version>2.1.5.RELEASE</version>
  16.     <exclusions>
  17.         <exclusion>
  18.             <groupId>org.springframework.boot</groupId>
  19.             <artifactId>spring-boot-starter-logging</artifactId>
  20.         </exclusion>
  21.     </exclusions>
  22. </dependency>
  23. <dependency>
  24.     <groupId>org.springframework.boot</groupId>
  25.     <artifactId>spring-boot-starter-log4j2</artifactId>
  26.     <version>2.1.5.RELEASE</version>
  27. </dependency>
配置文件修改

log4j2.xml配置文件中内容

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!--      Configuration后面的status，这个用于设置log4j2自身内部的信息输出，可以不设置，
  3.      当设置成trace时，可以看到log4j2内部各种详细输出
  4. -->
  5. <!-- monitorInterval：Log4j能够自动检测修改配置 文件和重新配置本身，设置间隔秒数 -->
  6. <configuration monitorInterval="5">
  7.     <!-- 日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->
  8.     <!-- 变量配置 -->
  9.     <Properties>
  10.         <!--
  11.             格式化输出：
  12.             %d表示日期，
  13.             %thread表示线程名，
  14.             %-5level：级别从左显示5个字符宽度
  15.             %msg：日志消息，%n是换行符
  16.             %logger{36} 表示 Logger 名字最长36个字符
  17.         -->
  18.         <property name="LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %highlight{%-5level}[%thread] %style{%logger{36}}{cyan} : %msg%n" />
  19.         <!-- 定义日志存储的路径，不要配置相对路径 -->
  20.         <property name="FILE_PATH" value="./logs" />
  21.         <!-- 服务名 -->
  22.         <property name="FILE_NAME" value="order-service" />
  23.     </Properties>
  24.  
  25.     <appenders>
  26.         <console name="Console" target="SYSTEM_OUT">
  27.             <!--输出日志的格式-->
  28.             <PatternLayout pattern="${LOG_PATTERN}" disableAnsi="false" noConsoleNoAnsi="false"/>
  29.             <!--控制台只输出level及其以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
  30.             <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
  31.         </console>
  32.         <!--
  33.         　　这个会打印出所有的info及以下级别的信息，每次大小超过size，
  34.         　　则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档
  35.         -->
  36.         <RollingFile name="RollingFileInfo"
  37.                      fileName="${FILE_PATH}/info.log"
  38.                      filePattern="${FILE_PATH}/$${date:yyyy-MM}/${FILE_NAME}-%d{yyyy-MM-dd}-INFO_%i.log.gz">
  39.             <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
  40.             <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
  41.             <PatternLayout pattern="${LOG_PATTERN}"/>
  42.             <Policies>
  43.                 <!--interval属性用来指定多久滚动一次，默认是1 hour-->
  44.                 <TimeBasedTriggeringPolicy interval="1"/>
  45.                 <SizeBasedTriggeringPolicy size="20MB"/>
  46.             </Policies>
  47.             <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件开始覆盖 -->
  48.             <DefaultRolloverStrategy max="15"/>
  49.         </RollingFile>
  50.  
  51.         <!-- 这个会打印出所有的warn及以下级别的信息，每次大小超过size，则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档-->
  52.         <RollingFile name="RollingFileWarn"
  53.                      fileName="${FILE_PATH}/warn.log"
  54.                      filePattern="${FILE_PATH}/$${date:yyyy-MM}/${FILE_NAME}-%d{yyyy-MM-dd}-WARN_%i.log.gz">
  55.             <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
  56.             <ThresholdFilter level="warn" onMatch="ACCEPT" onMismatch="DENY"/>
  57.             <PatternLayout pattern="${LOG_PATTERN}"/>
  58.             <Policies>
  59.                 <!--interval属性用来指定多久滚动一次，默认是1 hour-->
  60.                 <TimeBasedTriggeringPolicy interval="1"/>
  61.                 <SizeBasedTriggeringPolicy size="20MB"/>
  62.             </Policies>
  63.             <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件开始覆盖-->
  64.             <DefaultRolloverStrategy max="15"/>
  65.         </RollingFile>
  66.  
  67.         <!-- 这个会打印出所有的error及以下级别的信息，每次大小超过size，则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档-->
  68.         <RollingFile name="RollingFileError"
  69.                      fileName="${FILE_PATH}/error.log"
  70.                      filePattern="${FILE_PATH}/$${date:yyyy-MM}/${FILE_NAME}-%d{yyyy-MM-dd_HH}-ERROR_%i.log.gz">
  71.             <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
  72.             <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>
  73.             <PatternLayout pattern="${LOG_PATTERN}"/>
  74.             <Policies>
  75.                 <!--interval属性用来指定多久滚动一次，默认是1 hour-->
  76.                 <TimeBasedTriggeringPolicy interval="1"/>
  77.                 <SizeBasedTriggeringPolicy size="20MB"/>
  78.             </Policies>
  79.             <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件开始覆盖-->
  80.             <DefaultRolloverStrategy max="15"/>
  81.         </RollingFile>
  82.         <Socket name="logstash" host="192.168.120.72" port="9250" protocol="TCP">
  83.             <PatternLayout pattern="${LOG_PATTERN}"/>
  84.         </Socket>
  85.     </appenders>
  86.  
  87.     <!--Logger节点用来单独指定日志的形式，比如要为指定包下的class指定不同的日志级别等。-->
  88.     <!--然后定义loggers，只有定义了logger并引入的appender，appender才会生效-->
  89.     <loggers>
  90.         <!--过滤掉spring和mybatis的一些无用的DEBUG信息-->
  91.         <logger name="org.mybatis" level="info" additivity="false">
  92.             <AppenderRef ref="Console"/>
  93.         </logger>
  94.         <!--监控系统信息-->
  95.         <!--若是additivity设为false，则 子Logger 只会在自己的appender里输出，而不会在 父Logger 的appender里输出。-->
  96.         <Logger name="top.fate" level="info" additivity="false">
  97.             <AppenderRef ref="Console"/>
  98.         </Logger>
  99.  
  100.         <root level="info">
  101.             <appender-ref ref="Console"/>
  102.             <appender-ref ref="RollingFileInfo"/>
  103.             <appender-ref ref="RollingFileWarn"/>
  104.             <appender-ref ref="RollingFileError"/>
  105.             <appender-ref ref="logstash"/>
  106.         </root>
  107.     </loggers>
  108. </configuration>
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小惠珠哦/article/detail/836701
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号